Тренировка BERT на русском корпусе: непривычно видеть такую кривую обучения

[kelijah]

В порядке эксперимента обучаю упрощенную модель BERT (урезал число heads и т.д.) на свое русском корпусе.
То, что обучается медленно - факт. Но дело не в этом. Вот как выглядят кривые loss (на обучающей выборке) и val_loss (на валидационной):

Comments

[sedov_05]