Comments | kelijah: Тренировка BERT на русском корпусе: непривычно видеть такую кривую обучения

kelijah

Тренировка BERT на русском корпусе: непривычно видеть такую кривую обучения

Dec 26, 2018 18:08

В порядке эксперимента обучаю упрощенную модель BERT (урезал число heads и т.д.) на свое русском корпусе.
То, что обучается медленно - факт. Но дело не в этом. Вот как выглядят кривые loss (на обучающей выборке) и val_loss (на валидационной):
( Read more... )

bert, нейросети, vector space model, nlp, language model

Comments 4

p2004r December 26 2018, 17:58:07 UTC

Забавно в контексте статьи что автор кераса так нападал на предобучение сети как "абсолютно ненужное для современного момента" что выпилил всю совместимость со старыми примерами всяких автоэенкодеров-декодеров :)

ext_4946030 December 28 2018, 07:12:21 UTC

ну Chollet вообще чудаковатый товарищ

kelijah December 27 2018, 03:28:29 UTC

>Забавно в контексте статьи что автор кераса так нападал на предобучение сети как "абсолютно
>ненужное для современного момента" что выпилил всю совместимость со старыми примерами всяких
>автоэенкодеров-декодеров :)

Хм. Вот это зря, конечно. Для русскоязычного NLP вообще проблема найти хоть какие-то датасеты. Бывает, что единственный шанс - руками сделать небольшой датасет и попытаться оттюнить предобученную на вики модель.

sedov_05 January 6 2019, 20:54:49 UTC

( ... )