Обучение по плану (так наверное можно перевести). Вроде достаточно очевидная вещь, особенно в ситуации, когда плохой ландшафт не позволяет найти глобальный минимум, просто выбирая сэмплы в случайном порядке и спускаясь градиентом:

https://www.google.ru/?gws_rd=ssl#newwindow=1&q=curriculum+learning+bengio

The basic idea is to start small, learn ( Read more... )

Добавил в корпус примерно 300,000 новых учебных паттернов, полученных прогоном через парсер набора коротких предложений. С минимальной ручной модерацией. Эта добавка довела общее количество обучающих паттерном до ~2,5 миллионов. Тестовый набор тоже, конечно, вырос ( Read more... )

В продолжение задачи http://kelijah.livejournal.com/148941.html

На 155,000 предложениях (из 240,000 полного корпуса) POS Tagger с новым набором фич дает ошибаемость 1.36%.
Таким образом, есть ненулевой шанс, что полный корпус позволит обучить модель с ошибаемостью около 1.5% или даже лучше.

Цитата из "Rhythms of the brain. G.Buzsaki ( Read more... )

В модели самоорганизующегося классификатора (см. статью Йорга Люке "Rapid Processing and Unsupervised Learning in a Model of the Cortical Macrocolumn") есть интересный свободный (настроечный) параметр - вероятность того, что для конкретной связи будет применено правило Хебба. Первая вышеупомянутая статья рекомендует принять это значение как 1/3, то ( Read more... )

В качестве базы сравнения всех остальных моделей сделал еще реализацию байесовского классификатора.

Достигнутый результат = 5.97% ошибок.
Это существенно хуже всех остальных методов.

Заенцев "Нейронные сети: основные модели", глава "Адаптивная резонансная теория".

Цитата:

"... У сети АРТ есть несколько существенных недостатков:

1. Чувствительность к порядку предъявления векторов.Большинство разновидностей АРТ весьма чувствительны к порядку предъявления входных векторов. Картины ядер классов, сформированные сетью, принципиально ( Read more... )

ТЕКУЩИЕ ИЗМЕНЕНИЯ

1. Эталонный корпус вырос до ~43000 предложений.
2. В нисходящий парсер добавлено очень много новых правил.
3. Для лемматизатора сделана экспериментальная скрытая марковская модель.
4. Эксперименты со статистическим chunker'ом.

СТАТИСТИЧЕСКИЙ ПАРСЕР (CHUNKER)Пока сделал только 2 эксперимента с моделями. В предложении ( Read more... )

Вот так нужно иллюстрировать курс лекций.

Синтаксический разбор предложения (парсинг)
( Синтаксический разбор... )

Перечитал еще раз внимательно документ http://www.coli.uni-saarland.de/~thorsten/tnt/, и понял что зря я
не сделал учет границ. Близость к границе - сильная feature, некоторые части речи существенно меняют частоту
появления в начале или в конце предложения. Например императив склонен появляться первым. Поэтому добавил
в черновую модель вероятностной ( Read more... )