1. Постановка задачи

Нужна модель, которая определяет, эквивалентны ли два фрагмента текста (предложения) семантически.Правила синтаксиса и морфологии допускают очень большую свободу выражения латентной семантики, поэтому простая похожесть цепочек символов недостаточно хороша для некоторых случаев:
( Read more... )

Далее - результаты работы тестовой версии chatbot'а на базе нейросетевого движка логического вывода:

( Read more... )

( Read more... )

Контексты употребления собраны по предложениям длиной от 4 до 6 токенов (включая финальный терминатор, если он есть). Затем получаем средний вектор фразы по w2v векторам слов, исключая само ключевое слово, и скармливаем все это в k-means ( Read more... )

Оказалось, что если сравнивать релевантность двух фраз не через прямой расчет косинуса между их векторами, а посредством дополнительной модели, то можно получить интересные (хотя и не всегда однозначно хорошие) результаты.

Итак, сначала я натренировал модель sequence2sequence на перефразировках и перестановках ( Read more... )

На нашем подиуме - новая модель. Называется Siamese Networks.

Касательно использования для обработки текста - см. к примеру http://www.mit.edu/~jonasm/info/MuellerThyagarajan_AAAI16.pdf "Siamese Recurrent Architectures for Learning Sentence Similarity"
Обработка визуальной информации - см. http://vision.ia.ac.cn/zh/senimar/reports/Siamese-Network- ( Read more... )

Если смотреть на некоторые перефразировки, то можно заметить торчащие уши некой категории "определенности/количества", которая в английском языке и некоторых других выражается артиклями:

Слышен собачий лай. (одна собака или несколько? собака известна слушателю или это некая абстрактная собака?)
Слышен лай собаки.
Слышен лай собак.И прилагательное ( Read more... )

Странно и немного неожиданно, но sequence2sequence модель, обученная на маленьком кусочке описанного ранее датасета, научилась похоже не только делать "word bagging", но и учитывать побуквенную похожесть
слов.

Быстрая проверка похожести фраз через косинус векторов на выходе кодирующей рекуррентной сетки дает такую картинку:
( Read more... )

Мой "текстоперегонный" куб сделал очередную итерацию, скушав пару десятков гигабайтов текстов из википедии, новостей и так далее, и выдав примерно 6 Гб с очищенными предложениями.

Если посмотреть на группу самых маленьких предложений по 4 токена, то с одной стороны 90 Мб файл ничего интересного не показывает:

( Read more... )

Disclaimer: если бы не необходимость иметь достаточно большую статистику употребления, word2vector модель могла бы неплохо объяснить феномен понимания смысла слов без явного учителя.

Использую мой корпус отзывов и gensim.
В нем есть слово 'анекстура'. Что оно значит?
( Read more... )