В продолжение поста о модели интерпретатора.

Эксперименты с обучением seq2seq модели показывают, что имеющегося набора обучающих данных (~76 тысяч сэмплов) маловато.
Хотя по мере добавления новых сэмплов (особенно в ходе итераций active learning) качество растет ( Read more... )

В чатботе задача восстановления полной реплики по контексту (заполнение эллипсисов, раскрытие анафоры и т.д.) сейчас решается одной seq2seq моделью, которая обучается в режиме teacher forcing на ~75 тысячах сэмплов. Эта модель на валидации дает примерно качество  ~0.95 (посимвольный jaccard ( Read more... )

После обучения на объединенном датасете диалогов из Толоки + мои датасеты для чатбота, модель, не учитывающая контекст, а только текст заданного вопроса, выдает такую "болтовню":
( Read more... )

Сама модель описана тут, это просто seq2seq автоэнкодер для цепочек символов. Реализующий ее на Python+Keras код лежит тут.
Тетрадка для визуализации доступна по этой ссылкеВ ходе обучения в файле сохраняем instance accuracy - долю слов, которые точно восстановлены декодером. Эта метрика показана на графиках ( Read more... )

В репозитории https://github.com/Koziev/word2lemma выполнена генеральная перепланировка и уборка.

( Read more... )

Для упаковки цепочки слов в вектор фиксированной длины годятся те же самые методы, которые я перечислял в главе про char-модели ( http://kelijah.livejournal.com/194691.html). Заменив символы и их 1-hot коды на слова и их word2vector представления, мы можем использовать всё тот же автоэнкодер. Учитывая вариативность длин предложений, разумно сделать ( Read more... )

У нас уже есть инструмент для упаковки произвольного предложения в вектор действительных чисел фиксированной длины - автоэнкодер, описанный ранее. Так как предложение любой длины будет упаковано в вектор одного и того же размера, мы можем выполнить интерполяцию от первого вектора ко второму линейно с заданным шагом. Получающиеся при этом ( Read more... )

Что делает сеточный лемматизатор?

Вот скриншот обучающейся модели, на котором видно, что поступало на вход сетки и что получалось на выходе:
( Read more... )

Работа char-rnn модели лемматизатора в консольной программке для введенных слов “кошшки”, “барбудаемся”, “покрасавистее” и “красавистый”:
( Read more... )

Векторы слов, как и раньше, имеют длину 2048, со средним числом единиц ~54 ( Read more... )