Надо еще добавить синтаксический парсер со своей моделью, так что итоговая цифра будет похуже.
Результаты: 360Кб текста в utf-8 обработано за 120 секунд.

Добавил в новый лексер предпоследнюю важную вещь - возможность задавать правила расщепления токенов через сопоставления с регулярками. Проверил это дело на француском словаре, так как там наблюдается самый разгул хулиганства со стороны апострофов. наречие d'où не разбиваем, а d'Europe - разбиваем, ну и так далее:

( Read more... )

Будет много мелких и средних изменений:

( Read more... )

Понемного привожу в порядок спецификации файла конфигурации грамматического словаря. В частности, упорядочил трактовку путей в этом файле как относительных по умолчанию, с возможностью переключения на абсолютные для отдельных узлов (модулей) с помощью XML-атрибутов.

На странице описания файла конфигурации добавлены следующие разделы:

• строки ( Read more... )