Для эксперимента WordRepresentations делаю последний вариант получения векторного представления слов с помощью автоэнкодеров.

( Read more... )

Выложил в репозиторий всё, включая новые файлы модели, обученной на 2 миллионах сэмлах. Также добавил описание:
( Read more... )

Играюсь с новой версией модели языка на уровне символов (код на питоне, в репозиторий залиты и файлы предобученной на небольшом корпусе модели ( Read more... )

При использовании word2vector представлений слов для синтаксического парсинга реальных текстов, а не искусственно подобранных предложений, всегда возникает проблема out-of-vocabulary слов. Эти несловарные токены возникают по разным причинам, включая опечатки, слияние соседних слов, ошибочное разделение одного слова на несколько, образование новых ( Read more... )

(оглавление)

Как я уже отмечал ранее, если в рекуррентную sequence 2 sequence подавать на вход и на выход одно и то же слово, то фактически мы получаем старый добрый сжимающий автоэнкодер (contractive autoencoder). На скрытом слое этой модели для каждого слова создается векторное представление фиксированной размерности, то есть происходит ( Read more... )

В большинстве случаев модели учились строить для любого слова вектор заранее заданной фиксированной длины. Как можно использовать получаемый вектор:
( Read more... )

Для алфавитных языков характерно большое разнообразие длин слов на письме. Простой анализ статистики длин токенов в большой корпусе русскоязычных текстов дает среднюю длину слова ~5.6 символов. Но кривая распределения частот такова, что с одной стороны есть немного очень коротких и очень частотных слов (я, и, да), а с другой неопределенное ( Read more... )

Что делает сеточный лемматизатор?

Вот скриншот обучающейся модели, на котором видно, что поступало на вход сетки и что получалось на выходе:
( Read more... )

Работа char-rnn модели лемматизатора в консольной программке для введенных слов “кошшки”, “барбудаемся”, “покрасавистее” и “красавистый”:
( Read more... )

Далее буду выкладывать кусочками накопившиеся материалы, имеющие отношение к моделированию естественного языка на символьном уровне (char-модели), на уровне слов и с учетом общего контекста. Все описываемые модели я делал своими руками, поэтому в случае каких-то вопросов по реализации можете писать в комментах и требовать пояснений.

CHAR-LEVEL

1. ( Read more... )