Конечно, крайне самонадеянно строить глубокомысленные теории по поводу этого проявления психической деятельности человека, но других-то путей все равно нету. Можно сказать, что особенности процесса обучения для человека - это не выработанная социальной эволюцией эффективная методика, и способ обойти присущие нашему мозгу недостатки - забывчивость, ( Read more... )

Обучение и тестирование моделей выполнялись на разных наборах предложений.

Количество неправильно выбранных признаков "часть речи":

Model 4-1 ............................ 2.37 %
Conditional Random Fields ... 2.50 % *
Hidden Markov Model .......... плохо **
Support Vector machine ....... плохо **

( примечания и глупые мыслишки... )

В корпус эталонных предложений, по которым я проверяю парсер, влилось несколько тысяч элементарных предложений. Чтобы посмотреть на поведение модели по мере роста объема учебной выборки, я пересчитал модель лемматизатора ( Read more... )

Портировал код вероятностного алгоритма с C# на C++ и вывел через API (http://www.solarix.ru/for_developers/api/lemmatizator-api.shtml). Кое-чем пришлось пожертвовать в ущерб общей точности лемматизации, но в целом получилось пока неплохо. Например, если на странице онлайн-демонстрашки  http://178.64.252.139:8080/Lemmatization.aspx ввести фразу "мы ( Read more... )

После переработки точность выросла до 1.9% - итого 98.1% слов в тестовом корпусе лемматизируются правильно, если учитывать контекст.

Для контроля - если обучение и проверку выполнить на одном и том же наборе, то ошибочность падает до 0.34%.

Попробовал собрать очень простую вероятностную морфологическую модель для лемматизатора. Пусть это будет "черновой алгоритм №1". Чтобы понадежнее проверить работоспособность, обучение и тестирование модели происходит по двум разным частям корпуса, буквально четные предложения - обучение, нечетные - тестирование.

Ошибки лемматизации без модели = 4.30 ( Read more... )

За эталон берутся результаты полного синтаксического анализа, при котором снимается практически вся омонимия, причем
с максимальной точностью, то есть количество ошибок исчезающе мало и может не учитываться.

Надо заметить, что использованный корпус статистически нерепрезентативен и мал. Обучающая
и тестовая выборки совпадают. То есть цифры очень ( Read more... )

1. Виртуальный собеседник в играх для детей.  Отдельно можно рассматривать - если это не чисто виртуальный (софтовый) агент, а начинка "железа", будь это кукла, робот-собака и т.д ( Read more... )