Касательно char-rnn: цитата из http://www.computervisionblog.com/2016/06/deep-learning-trends-iclr-2016.html?m=1

"Some of his key take-aways from comparing word-level embedding vs character-level embeddings is that for different languages, different methods work better. For languages which have a rich syntax, character-level encodings outperform ( Read more... )

Продолжение темы http://kelijah.livejournal.com/185930.html

Проверена модифицированная модель chars2vector.
На входе - слова как цепочки символов.
Цепочка кодируется набором LSTM ячеек, на последнем символе получаем некий вектор.
Следующий слой учится отображать этот вектор на вектор из word2vector модели.
На keras модель описана так:
( Read more... )

Самая интересная модель - char2vector, то есть получение из цепочки символов вектора, который был бы близок к word2vector для соответствующего слова. Она опять-таки основана на слое LSTM и дополнительном слое для декодирования lstm-вектора в word2vector ( Read more... )

(продолжение начатого здесь http://kelijah.livejournal.com/181292.htmlХм, забавно будет, если доделать задачу лемматизации до сопоставимых с табличным поиском результатов. Тогда переезд на GPU будет тривиальным со всеми вытекающими бонусами. Лемматизация на графической карточке ( Read more... )

(начало здесь http://kelijah.livejournal.com/180743.html)

Полностью переписал модель, она стала проще и работает лучше:
( Модель word_is_noun на keras... )

Выложил на гитхаб исходники питоновского скрипта с LSTM символьной моделью текста: https://github.com/Koziev/pushkin

В качестве входных данных, на которых учится модель, берется 'Евгений Онегин' с удаленными названиями глав. Текст тоже выложен.

С параметрами рекуррентной модели в исходном файле получается текст типа такого (файл samples.txt):
( Read more... )

Начало - здесь.
Немного подправил метапараметры, увеличил объем обучающей выборки.
Генерируемые моделью тексты визуально стали лучше, более похожими на естественный язык.
Эдакий Роршах из Ложной слепотыМного сгенерированных слов являются совершенно нормальными - см. выделенные примеры ( Read more... )