В архиве templates.clause_with_np.100000.zip находится часть датасета, 100 тысяч самых частотных записей, с сэмплами следующего вида:
( Read more... )

Коллега по работе навел на замечательный пост Длинные слова и длинные предложения (о рекордах).
Я решил перепроверить часть указанных там рекордов по своей словарной базе. Та-дам!

( Самые длинные существительные )

В проектах GrammarEngine, ruword2tags и rulemma в ходе разработки и отладки чатбота сделаны следующие изменения:
1) Пара сотен новых словарных статей, преимущественно из домена химии, металлургии, технологии.
2) Добавлена информация о малоупотребимости некоторых кратких форм прилагательных. На этом остановлюсь поподробнее - см. под катом.
( Read more... )

Решаемая проблема - определение вида русского глагола (для глаголов, инфинитивов, причастий и деепричастий), либо классификация как "undef" для частей речи, которые не имеют такого признака.

Эта модель сделана на основе word_is_noun, про которую я уже рассказывалЕсть некоторые изменения, не носящие принципиального характера, например ( Read more... )

[Продолжение]
Объем использованного tree bank: 317,780,920 слов
Собирались ребра с глаголом (инфинитив, глагол, деепричастие) и наречием.
Отдельно учитывались наречия справа и слева от глагола, так как для русского языка есть определенные нормы в этом плане.
Результаты отсортированы по mutual information.

ТОП для adv+v:
( Статистика по сочетаемости v+adv )

Продолжаем обработку статистики. Собираем сочетания глагола (сказуемое или деепричастный оборот) с группой предлог+существительное.
У существительного могут быть атрибуты и дополнения, их в данной статистике мы не учитываем.
Top-100  по абсолютной частоте:

( TOP-100 глагол+предлог+существительное )

Из статистики по результатам парсинга 600,000 коротких предложений. Сочетаемость наречия "пристально" слева и глагола (инфинитива, деепричастия) справа:

( Read more... )

В русскую словарную базу добавилось около 1000 глаголов с наиболее продуктивными моделями, включая такие архиважнейшие слова, как пинговать и сконфигурироватьсяДалее по плану: пересчет вероятностной модели русской морфологии, чтобы получить актуальный part-of-speech tagger. Затем - лемматизация 45 Гб корпуса текстов, включая википедию и новости. ( Read more... )

В русскую словарную базу версии 150 войдет примерно 1800 инфинитивов на -оваться (балканизироваться, транскрибироваться и т.д.), которые найдены при частотном анализе 45 Гб корпуса.

Добавил правила для конструкций "иметь что-то сделать что-то", в которых обычный глагол "иметь" присоединяет группу инфинитива:
( Read more... )