В дополнение к http://kelijah.livejournal.com/210688.html
На паблике log loss получился 0.1813, то есть немного хуже, чем у xgboost'а.

Далее будут кратко описаны три модели. Две модели для частичной разметки соответствуют последовательным экспериментам по выбору общей архитектуры. Условно они называются Model1 и Ensemble. Модель лемматизации общая, ансамбль для нее я не делал, хотя это безусловно возможно и даже желательно.

Исходные тексты можно найти на гитхабе: https://github. ( Read more... )

(продолжение этих экспериментов)

( Точность моделей и примеры классификации... )

Итак, на "прямоточной" feedforward сетке с 4 слоями корпус оценок начал обрабатываться с точностью до 91% (тут http://kelijah.livejournal.com/199059.html). При этом на входе были word2vec векторы слов без лемматизации. В принципе, уже неплохо. Но!

Оказалось, что если взять сверточную сетку, подать ей лемматизированные предложения с cutoff по ( Read more... )

При использовании word2vector представлений слов для синтаксического парсинга реальных текстов, а не искусственно подобранных предложений, всегда возникает проблема out-of-vocabulary слов. Эти несловарные токены возникают по разным причинам, включая опечатки, слияние соседних слов, ошибочное разделение одного слова на несколько, образование новых ( Read more... )

В большинстве случаев модели учились строить для любого слова вектор заранее заданной фиксированной длины. Как можно использовать получаемый вектор:
( Read more... )

Для алфавитных языков характерно большое разнообразие длин слов на письме. Простой анализ статистики длин токенов в большой корпусе русскоязычных текстов дает среднюю длину слова ~5.6 символов. Но кривая распределения частот такова, что с одной стороны есть немного очень коротких и очень частотных слов (я, и, да), а с другой неопределенное ( Read more... )

Работа char-rnn модели лемматизатора в консольной программке для введенных слов “кошшки”, “барбудаемся”, “покрасавистее” и “красавистый”:
( Read more... )

Оказалось, что если сравнивать релевантность двух фраз не через прямой расчет косинуса между их векторами, а посредством дополнительной модели, то можно получить интересные (хотя и не всегда однозначно хорошие) результаты.

Итак, сначала я натренировал модель sequence2sequence на перефразировках и перестановках ( Read more... )

По сути, вещь примерно из тех времен, когда я еще ковырялся с 8080 и Z80, ну или с 286 в лучшем случае: http://science.slc.edu/~jmarshall/courses/2002/fall/cs152/lectures/RAAM/RAAM.htmlСейчас экстерьер другой, конечно. Использую LSTM для кодирования и декодирования, word2vector для представления слов. И лексикон не пара сотен слов, а все, что вошло ( Read more... )