Вот эти данные для entity типа DATA содержат огромное количество строк типа

Проверено 1 января 2016 . International Renaissance Foundation.
Проверено 16 января 2016 . Смотрим телевизор . | 16 января 2016
Проверено 21 февраля 2016 . Текмаш отметил 160 летие . | 21 февраля 2016Уверен на 100%, что данные получены простой конвертацией викиданных из ( Read more... )

Вчера установил под убунтой свежевыпущенный градиентный бустер CatBoost.

Успел пока только подготовить прикидочный сабмит для задачи https://www.kaggle.com/c/msk-redefining-cancer-treatment/leaderboard. Предварительные впечатления - намного медленнее, чем LightGBM. Необычный (в сравнении с "стандартом" xgboost и lightgbm) способ early stopping. ( Read more... )

Personalized Medicine: Redefining Cancer Treatment

Чуточку экстремальное. В тренировочном наборе 3321 сэмпл, в тестовом - 5668. То есть вроде как совсем не густо.

Но каждый сэмпл содержит текст в несколько тысяч (максимум 81 тысячу) слов с неким описанием на английском языке.

[начало тут http://kelijah.livejournal.com/212124.html]

Часть 1 char-level deep neural networks

( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Оценки качества моделей, усреднение
Для каждой модели я даю оценку, которую видно при сабмите результатов расчета для тестового набора по ссылке https://www.kaggle.com/c/quora-question-pairs/submit.

( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Использование word2vec встраиваний и обучаемость слоя Embedding
Для word-level моделей слова переводятся в понятную сетке числовую векторную форму с помощью слоя Embedding (https://keras.io/layers/embeddings/). Матрицу весов можно инициализировать случайными числами, а можно загрузить векторы ( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html, скрипты моделей тут https://github.com/Koziev/QuoraQuestionPairs]
Удвоение датасета400 тысяч пар вопросов в обучающей выборке - это неплохо, но нейросетки очень любят много данных. Чем больше свободных параметров у модели, тем больше требуется обучающих примеров для их настройки. Поэтому ( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Siamese network
Может показаться, что для определения семантической близости вопросов необходим сложный анализ смысла. Описание соревнования намекает на это соответствующей отсылкой: “Can you identify question pairs that have the same intent?”. То есть организаторы предлагают определять, имели ( Read more... )

[ Черновой вариант содержания всей серии заметок здесь ]

В 2017 году на Каггле (http://kaggle.com) проходило соревнование по построению моделей, способных определять, являются ли два вопроса перефразировкой. Это неплохая задача из категории natural language processing, на которой можно замечательно потренироваться в построении deep learning ( Read more... )

Содержание

Краткое вступление по поводу задачи
Используемый софт & хард
Исходные тексты моделей
Siamese network
Удвоение датасета
Использование word2vec встраиваний и обучаемость слоя Embedding
Оценки качества моделей, усреднение

Часть 1 char-level deep neural networks
1.1 Простейший multilayer perceptron1.2 Рекуррентная нейросеть ( Read more... )