Иногда возникает задача, обратная лемматизации: имеем список лемм, надо восстановить  исходный согласованный текст. При лемматизации из-за омонимии теряется часть информации:

Из "кошка ловит мышку" после леммаизации получаем "кошка ловить мышка".
Из "кошку ловит мышка" тоже получаем "кошка ловить мышкаПоэтому обратная лемматизация в еще большей ( Read more... )

В питоновской библиотеке rulemma добавлена обработка несловарных (out-of-vocabulary) слов. Большинство OOV-слов образуются по относительно небольшому количеству словоизменительных правил русского языка, так что модель неплохо справляется с ними. При этом используются результаты частеречной разметки, чтобы снимать неоднозначности типа крокодил - ( Read more... )

Обучение всех моделей для русской словарной базы закончилось. Файлы моделей и прочие запчасти лежат в папке https://github.com/Koziev/GrammarEngine/tree/master/src/bin-windows64

Перед использованием надо распаковать *.zip файлы, так как они превышают предельный размер для репозитория в github'е.

В репозитории грамматического словаря https://github.com/Koziev/GrammarEngine выложены все исходники и сборочные файлы для лемматизатор, см. каталог https://github.com/Koziev/GrammarEngine/tree/master/src/demo/ai/solarix/engines/lemmatizator.

Также выложен C# wrapper для вызова API лемматизатора из .NET код ( Read more... )

В репозитории https://github.com/Koziev/word2lemma выполнена генеральная перепланировка и уборка.

( Read more... )

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

( Read more... )

Организаторы конкурса добавили еще 2 корпуса в обучающий набор (см. в репозитории конкурсаЕсли объединить все 3 корпуса, получается неплохой датасет для всякого машобуча по русским NLP ( Read more... )

Нижняя оценка ошибаемости, когда обучаемся по обучающей выборке GIKRYA_texts.txt, и оцениваем модель по этому же корпусу ~3.1 ( Read more... )

Соревнование: http://www.dialog-21.ru/evaluation/2017/morphorueval/Как в старые добрые времена, которые я не успел застать: машинное время на моем сервере на ближайшие пару недель расписано полностью. Все четыре ядра и 32 Гб памяти будут гонять питоновские скрипты ( Read more... )