Есть вот такой побочный результат небольшого ресеча в области русского словоизменения и словообразования. Относительно небольшой код генерирует словоформы в любых количествах, позволяя получить "out-of-vocabulary грамматический словарь" любого объема. Процесс unsupervised, то есть никаких ручных правил не требуется, псевдокорни и флексии берутся из ( Read more... )

Несколько SQL-запросов к словарной базе и нашлись такие пары предложных словосочетаний и омофоничных/омографичных существительных (кое-где ударение не совпадает, поэтому омографы):

В + аккузатив или препозитив:
( Read more... )

Коллега по работе навел на замечательный пост Длинные слова и длинные предложения (о рекордах).
Я решил перепроверить часть указанных там рекордов по своей словарной базе. Та-дам!

( Самые длинные существительные )

По поводу вот этого корпуса https://parus-proj.github.io/PaRuS/Архив с корпусом в формате Conll после распаковки имеет размер около 130 Гб. То есть данных много. Закономерный вопрос - насколько качественны эти данные, учитывая, что ручной модерации они не подвергались в силу объема ( Read more... )

В "грамматическом словаре русского языка" закончена большая чистка русского лексикона. Из словарной базы убраны почти все составные прилагательные такого вида "ярко-зеленый", "багрово-красный" и т.д. В итоге словарь стал меньше, но мощность описываемой им лексики - больше. Далее - пояснения мотивации и последствия.

( Read more... )

В репозиторий https://github.com/Koziev/NLP_Datasets выложен мой датасет с данными об ударениях.
Примерно такой объем был использован в коде лексического шаблонизатора для конкурса ClassicAI.
Поясненения есть в README.md, сам упакованный датасет доступен по ссылке.

Закомитил в https://github.com/Koziev/GrammarEngine накопившиеся изменения ( Read more... )

( Read more... )

В дополнение к русской словарной базе, в репозиторий выложены словарная база (лексика, морфология, синтаксис) для английского языка ( Read more... )

Смотрю на частоты слов из описаний лотов в датасете авито:

СЕРТИЦИФИРОВАНЫ                403

То есть 403 раза слово "сертифицированы" написано с одинаковой ошибкой, делающей этот вариант совершенно непроизносимым...

Как как, Холмс?