В развитие темы http://kelijah.livejournal.com/163561.htmlДобавил в набор фич модели еще один признак ( Read more... )

Наконец-то дошли руки попробовать новую модель тегирования для выполнения сегментации русского текста на multiword units.
( Пояснения по модели... )

Задача

Проставить в цепочке символов границы слов, учитывая наличие multiword entries ("кое-кто" или "в сравнении с"). Что-то похожее на chunking, но проще ( Read more... )

Есть в движке архитектурное решение, которое сейчас, по моим прикидкам, серьезно отягощает быстродействие POS Tagger'а. Думаю, как бы его исправить.
( Курватура... )

Для проверки работоспособности сделал небольшой макет токенизатора с такими частями ( Read more... )

Я начал собирать статистику употребления русских глаголов по большому неразмеченному текстовому корпусу (~30 Гб в utf8). Чтобы переварить такой объем за разумное время, пришлось пооптимизировать токенизатор. Вот что получилось.

1. Внутренняя реализация алгоритма токенизации в функции sol_TokenizeW (http://solarix.ru/api/ru/sol_Tokenize.shtml) ( Read more... )

Еще один тип ошибок - пробелы внутри слов. Вот что с ними делает новый алгоритм токенизации:

( Кош ка сп ит на ди ване )

Добавил в лексер еще один алгоритм, который может сделать вот что.
На входе лексера - предложение "Я немогу прочитать это слово".
В режиме нечеткого анализа лексер пытается разбить токены на словарные лексемы. Вот так оно выглядит в консольном отладчике:

( Сегментация токенов... )

Утилита для генерации правил снятия "внешней гетерогенной" омонимии из размеченного эталонного корпуса вроде бы заработала. Посмотрю еще, как она будет справляться при увеличении объемов и насколько окажутся эффективными правила.

Теперь можно прикинуть алгоритмическую задачку на перспективу: ошибки в тексте - пропуск слов.

( Read more... )

Добавил в новый лексер предпоследнюю важную вещь - возможность задавать правила расщепления токенов через сопоставления с регулярками. Проверил это дело на француском словаре, так как там наблюдается самый разгул хулиганства со стороны апострофов. наречие d'où не разбиваем, а d'Europe - разбиваем, ну и так далее:

( Read more... )