Есть вот такой побочный результат небольшого ресеча в области русского словоизменения и словообразования. Относительно небольшой код генерирует словоформы в любых количествах, позволяя получить "out-of-vocabulary грамматический словарь" любого объема. Процесс unsupervised, то есть никаких ручных правил не требуется, псевдокорни и флексии берутся из ( Read more... )

Одна из основных проблем при использовании pymorphy2 в качестве морфологического анализатора для парсера видна на следующем примере. Вот результаты анализа слов в тестовом предложении "в огромном сарае лежало старое сено":
( Read more... )

Продолжение темы http://kelijah.livejournal.com/185930.html

Проверена модифицированная модель chars2vector.
На входе - слова как цепочки символов.
Цепочка кодируется набором LSTM ячеек, на последнем символе получаем некий вектор.
Следующий слой учится отображать этот вектор на вектор из word2vector модели.
На keras модель описана так:
( Read more... )

1. Модель - sequence 2 sequence. Две рекуррентные сетки. Первая сетка берет цепочку символов и упаковывает ее в вектор (16...64 величины). Вторая сетка берет этот вектор и генерирует новое слово. Когда на вход и выход подаются одинаковые слова, получается аналог автоэнкодера, который ищет что-то типа minimum description length. Модель очень простая ( Read more... )

1. Есть массив слов, у каждого из которых проставлен признак сущестительное / не существительное.  Массив получен из SQL русской словарной базы и содержит больше 3 миллионов словоформ, что вполне достаточно для обучения моделей.
( Read more... )

Сделаны седующие упрощения в парадигме английского глагола ( Read more... )

В морфологический движок внесена следующая фича ( Read more... )

[В продолжение темы kelijah.livejournal.com/154769.html]

Синтаксический разбор предложения "Глокая куздра штеко будланула бокра и курдячит бокрёнка" силами только модуля несловарной морфологии в текущей разрабатываемой версии.

Рендеринг синтаксического дерева:( Read more... )

Продолжая тему http://kelijah.livejournal.com/160887.html.
Сейчас закончилось обучение модели русской частеречной разметки. Ошибаемость все-таки ушла выше 1%, и остановилась на замечательно некруглом значении 1.11%.
Теперь началось обучение модели восходящего парсера.

В следующей версии исправлю вот такое упущение в морфологической модели. Сейчас составные слова с дефисом учитываются синтаксическим парсером в целом правильно, по части речи хвостовой части:

Налаживается агитационно-массовая работа среди оставшегося населения.Но первая часть таких multiword units сейчас распознается абы как, чужими правилами. ( Read more... )