Коэффициент Пирсона получается около -0.5, то есть о линейной корреляции между размером батча и максимальной достигаемой точностью нейросетки говорить очень трудно.

Расчет добавлен в тетрадку, в самом конце.

Визуально зависимость тоже почти не видна, есть только некий тренд на понижение, о чем говорит и знак коэффициента:
( Read more... )

Продолжение поста https://kelijah.livejournal.com/237155.html.

То, что казалось достаточно очевидным и логичным, стало интересным при увеличении количества исходных данных. Я погонял обучение модели на новых batch_size и даже по 2 раза для некоторых batch_size, и получается вот такое облако для максимальной достигаемой точности при разных ( Read more... )

В комментарии к предыдущему посту коллега p2004r подсказал замечательную мысль по поводу того, что надо бы смотреть не на количество эпох, а на количество градиентов, которые увидела сетка при обучении. И получается вот такая замечательная картина.

1) Смотрим по-старому, динамика обучения в зависимости от числа эпох:
( Read more... )

Выложил в репозиторий всё, включая новые файлы модели, обученной на 2 миллионах сэмлах. Также добавил описание:
( Read more... )

1. В Keras-реализации решения нашел data leak из  валидационных данных в тренировочный набор (как обычно по причине копипасты фрагментов из своих же исходников). После исправления стал получать намного более консистентные результаты: точность на одинаковых данных для сопоставимых архитектур нейросетей в Keras+Theano и в Tensorflow решениях стала ( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]

1.1 Простейший multilayer perceptron
( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Оценки качества моделей, усреднение
Для каждой модели я даю оценку, которую видно при сабмите результатов расчета для тестового набора по ссылке https://www.kaggle.com/c/quora-question-pairs/submit.

( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html, скрипты моделей тут https://github.com/Koziev/QuoraQuestionPairs]
Удвоение датасета400 тысяч пар вопросов в обучающей выборке - это неплохо, но нейросетки очень любят много данных. Чем больше свободных параметров у модели, тем больше требуется обучающих примеров для их настройки. Поэтому ( Read more... )

[начало тут http://kelijah.livejournal.com/212124.html]
Siamese network
Может показаться, что для определения семантической близости вопросов необходим сложный анализ смысла. Описание соревнования намекает на это соответствующей отсылкой: “Can you identify question pairs that have the same intent?”. То есть организаторы предлагают определять, имели ( Read more... )

Потюнил параметры (величину дропаута, кол-во слоев), logloss на паблике упал на соточку до 0.17264.
Соточка - это оказывается целых 44 позиции вверх на данный момент:( Read more... )