Ингридиенты:
1) CRFSuite,  реализующий старый и добрый linear chain CRF
2) размеченный корпус для русского языка (например из Universal Dependencies)
3) набор векторов word2vec (я использую, как всегда, gensim, обучаемый на корпусе в ~150 Гб текстов разного характера, вплоть до блогов)
4) обученную модель wordchar2vecДалее формируем обучающий ( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Использование word2vec встраиваний и обучаемость слоя Embedding
Для word-level моделей слова переводятся в понятную сетке числовую векторную форму с помощью слоя Embedding (https://keras.io/layers/embeddings/). Матрицу весов можно инициализировать случайными числами, а можно загрузить векторы ( Read more... )

[Начало http://kelijah.livejournal.com/212124.html]
Используемый софт & хард
Я использую deep learning framework Keras (https://keras.io) с Theano backend под Ubuntu 16, плюс старенькая NVidia GTX 980.

Под Windows, кстати, Keras тоже можно использовать, если работать с пакетом Anaconda (https://www.continuum.io/downloadsНо все модели крайне жадные ( Read more... )

Сама идея простая. Делал её экспериментальную реализацию для для Парсера. Потом вторая попытка - для morphorueval2017. Особого эффекта добиться не удалось, но возможно в каком-то другом сценарии анализа текста она будет полезной ( Read more... )

Чтобы определять w2v вектор несловарных термов, можно применять разные алгоритмы, включая описанный ранее регрессор char-векторов в w2v-вектор. Сейчас я опишу еще один способ, который может кому-то пригодится сам по себе, или даст повод посмотреть на интересную особенность библиотеки gensim.
( Read more... )

Далее буду выкладывать кусочками накопившиеся материалы, имеющие отношение к моделированию естественного языка на символьном уровне (char-модели), на уровне слов и с учетом общего контекста. Все описываемые модели я делал своими руками, поэтому в случае каких-то вопросов по реализации можете писать в комментах и требовать пояснений.

CHAR-LEVEL

1. ( Read more... )