Небольшие эксперименты с векторными эмбеддингами предложений

[kelijah]

В ходе экспериментов с генерацией текстов у меня опять всплыла тема разных автоэнкодеров для предложений.
Чтобы немного упорядочить результаты, я вынес код и модели в отдельный репозиторий https://github.com/Koziev/sent_embedders

Сейчас там лежит модель вариационного автоэнкодера с использованием bpe для токенизации текста, которая позволяет

Comments

[alexander_xom]

А подробнее есть где нибудь? Что значит минус в скобках - разницу векторов? То есть модель "понимает" модель противопоставления с отрицанием и без? И "прикладывает" выделенную частицу "не" к исходному предложению?
А если без частицы "не" задать, скажем, падает-взлетает, стоит-лежит. Можно считать, что обожает ненавидит так сработало?

[kelijah]

>Что значит минус в скобках - разницу векторов?

Да, вычитание векторов предложений.

>То есть модель "понимает" модель противопоставления с отрицанием и без? И "прикладывает" выделенную частицу "не" к исходному предложению?

Ну похоже на то, да. Не поручусь за "противопоставление без не". Без детального анализа эмбеддингов это не очевидно.