Слишком хороший f1 и roc-auc score в моделях релевантности/синонимичности с triple loss

[kelijah]

1. Что выдает модель сама по себеКак работают эти модели? В качестве обучающих данных используются триады, содержащие опорное предложение, нерелевантное предложение и релевантное предложение. Для модели синонимичности эта тройка может выглядеть так

Comments

[p2004r]

AUC хороший критерий. Он интегральный для всех условий в которых будет применяться модель, поэтому можно сказать о некоторой трудности интерпретации. Но можно искать трешоилд в конкретной области, или искать оптимальный трешоилд по Йоудену (учитывая и частоту исхода нужного в популяции и цену ошибки).

Здесь конечно очень высокие значения. Если это получено при кроссвалидации (и протечки обучающей выборки не прошло случайно) то очень круто.

[kelijah]

>Здесь конечно очень высокие значения. Если это получено при кроссвалидации (и протечки обучающей выборки не прошло случайно) то очень круто.

Безусловно слишком высокие. Должно быть в районе 0.97-0.98 в лучшем случае по результатам других, не сеточных моделей. Так что в общем да, надо искать какую-то бяку в датасете.