Генерация определений слов с помощью GPT-2 и толкового словаря описана в этом посте.
Продолжим забивать языковые гвозди микроскопом!

Я обучил GPT-2 на парадигмах существительных из грамматического словаря. В обучающий датасет взято около 110 тысяч существительных, в каждом по 6 падежных форм для единственного числа. Модель училась из номинатива ( Read more... )

Коллега по работе навел на замечательный пост Длинные слова и длинные предложения (о рекордах).
Я решил перепроверить часть указанных там рекордов по своей словарной базе. Та-дам!

( Самые длинные существительные )

Весь список текущих изменений:

• Добавлен разбор для отрицания местоимения-подлежащего, стоящего справа от сказуемого:

Так думал не я один.
( Read more... )

Добавил в процедурный API версии функций sol_LoadDictionaryEx и sol_CreateGrammarEngineEx, отличающиеся от "старых" дополнительным целочисленным аргументом - управляющие флаги.

( Read more... )

Собрался русский словарь с большой порцией новых словарных статей и сопутствующей информацией в тезаурусе.

В основном добавлена современная лексика из газетных заметок, включая устоявшуюся "терминологию новой жизни"  крышевать, бомжевать, наркораспространитель, крышеватель и пр.

Статистика:

144 тысячи словарных статей
1,8 млн словоформ, из них 1.1 ( Read more... )

Что будет: добавление большой порции словарных статей, по прикидкам примерно 10-15 тысяч, может даже больше, из категории современной лексики. Сырье - заметки из журналов и так далее.

Из того, что уже просматривается - большое количество прилагательных типа 'кондопожский' или 'урус-мартановский', то есть образованных от топонимов. По возможности с ( Read more... )

Есть некоторые вещи, которые входят за грамматические рамки, и их приходится как-то решать на основе других соображений.

( Read more... )

Среди разных возможностей, возникших после переработки архитектуры грамматического словаря, появилась такая: при специальной настройке словарь в варианте локального хранилища может загружать словарные статьи не сразу все в оперативную память, а по необходимости.

В текущей версии такой режим активирован только в утилите Lexicon. Если запустить ее, ( Read more... )