(предыдущий пост с описанием моделей чат-бота тут: https://kelijah.livejournal.com/232313.html)

Код для тренировки вспомогательной модели, которая определяет число слов ответа для заданной предпосылки и вопроса выложен тут https://github.com/Koziev/chatbot/blob/master/PyModels/nn_answer_length.py.
( Read more... )

(Начало тут https://kelijah.livejournal.com/231141.html)

Часть моделей чат-бота при работе используют разные способы векторизации слов. Один из использованных алгоритмов векторизации заключается в упаковке посимвольного представления слова с помощью сжимающего рекуррентного автоэнкодера:
( Подробности реализации и скриншоты... )

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

Соревнование: http://www.dialog-21.ru/evaluation/2017/morphorueval/Как в старые добрые времена, которые я не успел застать: машинное время на моем сервере на ближайшие пару недель расписано полностью. Все четыре ядра и 32 Гб памяти будут гонять питоновские скрипты ( Read more... )

Посмотрим, как с помощью нейросетевых моделей можно строить синтаксическое дерево зависимостей для предложения.
( Читать далее (LSTM, Keras, char-based parsing)... )

Для упаковки цепочки слов в вектор фиксированной длины годятся те же самые методы, которые я перечислял в главе про char-модели ( http://kelijah.livejournal.com/194691.html). Заменив символы и их 1-hot коды на слова и их word2vector представления, мы можем использовать всё тот же автоэнкодер. Учитывая вариативность длин предложений, разумно сделать ( Read more... )

Что делает сеточный лемматизатор?

Вот скриншот обучающейся модели, на котором видно, что поступало на вход сетки и что получалось на выходе:
( Read more... )

Продолжение темы http://kelijah.livejournal.com/185930.html

Проверена модифицированная модель chars2vector.
На входе - слова как цепочки символов.
Цепочка кодируется набором LSTM ячеек, на последнем символе получаем некий вектор.
Следующий слой учится отображать этот вектор на вектор из word2vector модели.
На keras модель описана так:
( Read more... )

Векторы слов, как и раньше, имеют длину 2048, со средним числом единиц ~54 ( Read more... )

Модель: sequence2sequence
Представление слов: binary sparse distributed vectors размерностью 2048 и средним числом единичных значение 54
Скрытый слой и разрядность phrase vector: 128 элементов
Обучающий набор: 90,000 перефразировок длиной 1...8 слов

Иногда проскакивают неплохие результаты кодирования-декодирования:
( Read more... )