Коллега по работе навел на замечательный пост Длинные слова и длинные предложения (о рекордах).
Я решил перепроверить часть указанных там рекордов по своей словарной базе. Та-дам!

( Самые длинные существительные )

Что делает сеточный лемматизатор?

Вот скриншот обучающейся модели, на котором видно, что поступало на вход сетки и что получалось на выходе:
( Read more... )

[Продолжение]
Объем использованного tree bank: 317,780,920 слов
Собирались ребра с глаголом (инфинитив, глагол, деепричастие) и наречием.
Отдельно учитывались наречия справа и слева от глагола, так как для русского языка есть определенные нормы в этом плане.
Результаты отсортированы по mutual information.

ТОП для adv+v:
( Статистика по сочетаемости v+adv )

Из статистики по результатам парсинга 600,000 коротких предложений. Сочетаемость наречия "пристально" слева и глагола (инфинитива, деепричастия) справа:

( Read more... )

Придется, видимо, добавлять специальный тег для отделения форм:

быстрее - побыстрее
сильнее - посильнее

Зачем? Потому что есть синтаксически значимое отличие в сочетании со словом "всё".

Форма "быстрее" допускает употребление с усиливающей частией ВСЁ:

Сигнал звучал всё сильнее.А форма "побыстрее" - нет, и это позволяет снять неоднозначность ( Read more... )

Переработана группа правил, которая занимается разбором глагольных обстоятельств.

Теперь парсинг происходит снизу вверх, и в качестве элементарного обстоятельства могут учитываться наречные группы, предложные группы, существительные в творительном падеже (обстоятельство способа) и деепричастные обороты:

Он задал вопрос громко, четко расставляя ( Read more... )

Любопытный факт: наречие так и прилагательное такой образуют очень похожие синтаксические конструкции.

Наречие так может выступать модификатором наречий. И, кстати, не может модифицировать полные формы прилагательных, подчеркивая экономность языва в плане синтаксических средств:

они прибыли не так уж и быстро

В результате разбора этого примера парсер ( Read more... )

Кратенько:

1. В основном завершено добавление всех правил разбора с прилагательными из старого анализатора.
2. Начато добавление паттернов для имен существительных.
3. Визуализатор синтаксических деревьев теперь использует цветовое оформление. Фон узлов зависит от части речи - существительное, прилагательное и так далее.

Далее - как выглядят новые "елки с ( Read more... )

( Измененные документы ... )