В "грамматическом словаре русского языка" закончена большая чистка русского лексикона. Из словарной базы убраны почти все составные прилагательные такого вида "ярко-зеленый", "багрово-красный" и т.д. В итоге словарь стал меньше, но мощность описываемой им лексики - больше. Далее - пояснения мотивации и последствия.

( Read more... )

В проектах GrammarEngine, ruword2tags и rulemma в ходе разработки и отладки чатбота сделаны следующие изменения:
1) Пара сотен новых словарных статей, преимущественно из домена химии, металлургии, технологии.
2) Добавлена информация о малоупотребимости некоторых кратких форм прилагательных. На этом остановлюсь поподробнее - см. под катом.
( Read more... )

Продолжаем http://kelijah.livejournal.com/168306.html.

Результаты для выбора из трех смыслов:
( Результаты снятия полисемии на основе word2vector и TF-IDF... )

Продолжение темы http://kelijah.livejournal.com/166962.html.
Из части tree bank собраны предложные паттерны ПРЕДЛОГ+(ПРИЛ+СУЩ).
TOP 200 с сортировкой по mutual information:

( Коллокации... )

Исходный материал - tree bank размером 143,139,298 слов, полученный синтаксическим разбором примерно 1.4 Гб русского текста в utf-8 ( Read more... )

Берем результаты синтаксического парсинга большого корпуса.
Берем узлы с существительным (именные группы в узком понимании).
Если у существительного нет согласованного атрибута-прилагательного, то запоминаем как формальную биграмму ((null))+сущ.
Если есть атрибут-прилагательное, то запоминаем как обычно прил|сущ.
Накапливаем частоту.
( Read more... )

Продолжаею тему, начатую здесь.
Собраны предложные группы, состоящие из трех слов. Прилагательное является атрибутом существительного, то есть согласовано с ним по падежу, числу, роду, одушевленности.

TOP-100 по абсолютной частоте:
( TOP-100 по абсолютной частоте... )

Парсер обработал почти 1 Гб русского текста (в utf-8 ( Read more... )

Такая конструкция обязательно имеет какое-нибудь хитрое название, потому как она сама немного хитрая:

- Чем могу быть вам полезен?Смесь из модального глагола МОГУ, инфинитива глагола состояния БЫТЬ и переходного прилагательного ПОЛЕЗЕН, которое в отличие от подавляющего большинства прилагательных имеет слоты для объекта в дательном падеже ВАМ и ( Read more... )

Утилита для сборки согласованных 2-грамм прилагательное+существительное понемногу перемалывает исходное сырье - предложения-пентаграммы. На данный момент перевалили через отметку 160 тысяч предложений. Накоплено примерно 22 тысячи пар. Исходное сырье взято в основном из региональной прессы за 90-е годы, поэтому проявилась некоторая ...хм... ( Read more... )