Нейросетевые модели для определения перефразировок вопросов (6)
[начало тут http://kelijah.livejournal.com/212124.html]
Оценки качества моделей, усреднение
Для каждой модели я даю оценку, которую видно при сабмите результатов расчета для тестового набора по ссылке https://www.kaggle.com/c/quora-question-pairs/submit.
Обратите внимание, что просто сопоставлять значения validation loss, выдаваемые в ходе обучения моделей, невозможно. Разные модели переобучаются в разной степени. Поэтому видимая при валидации разница в log loss может быть обратной тому, что получится при сабмите.
Кроме того, обучение всех моделей дает достаточно большой разброс результатов при последовательных запусках. Если аппаратные мощности позволяют, генерация множества моделей (десятков) и усреднение крайне рекомендуется.
Чтобы продемонстрировать эффект от усреднения множества сеточных моделей, возьмем сверточную char-level модель. Каждая отдельная модель дает при сабмите оценку в районе 0.2960...0.31. Взяв 5 моделей и геометрически усреднив их сабмиты, получаем 0.26904, то есть очень существенное увеличение качества! Более того, увеличив количество усредняемых моделей до 10, получаем уже 0.26691 при сабмите, то есть подход достаточно просто масштабируется, хотя, конечно, улучшение не бесконечное, хорошо виден выход на асимптоту.
Оценки качества моделей, усреднение
Для каждой модели я даю оценку, которую видно при сабмите результатов расчета для тестового набора по ссылке https://www.kaggle.com/c/quora-question-pairs/submit.
Обратите внимание, что просто сопоставлять значения validation loss, выдаваемые в ходе обучения моделей, невозможно. Разные модели переобучаются в разной степени. Поэтому видимая при валидации разница в log loss может быть обратной тому, что получится при сабмите.
Кроме того, обучение всех моделей дает достаточно большой разброс результатов при последовательных запусках. Если аппаратные мощности позволяют, генерация множества моделей (десятков) и усреднение крайне рекомендуется.
Чтобы продемонстрировать эффект от усреднения множества сеточных моделей, возьмем сверточную char-level модель. Каждая отдельная модель дает при сабмите оценку в районе 0.2960...0.31. Взяв 5 моделей и геометрически усреднив их сабмиты, получаем 0.26904, то есть очень существенное увеличение качества! Более того, увеличив количество усредняемых моделей до 10, получаем уже 0.26691 при сабмите, то есть подход достаточно просто масштабируется, хотя, конечно, улучшение не бесконечное, хорошо виден выход на асимптоту.