(в продолжение вот этой темы про топологию эмбеддингов)

Распределения intrinsic dimension, рассчитанные с помощью scikit-dimension по эмбеддингам модели ruroberta для стихов некоторых жанров, выглядят так:
( Read more... )

Сравнение выполнялось по f1 weighted метрике на датасете с ~5100 сэмплов через 8-фолдовую кросс-валидацию. Чуть больше 70 интентов с большим дисбалансом.

Финальные результаты:

LinearSVC ~0.77
BERT        ~0.815
ELMo        ~0.817
( Пояснения по моделям )

Случайно наткнулся на следующий необычный эффект при обучении рекуррентной нейросетки.

( Read more... )