Неудачная попытка использования XGBRanker и LGBMRanker для задачи определения перефразировки

[kelijah]

Под катом - особенности определения синонимичности фраз в языке, использование BERT, метрики для оценки моделей и проблема с задачей ранжирования.

Comments

учится просто идентифицировать эти негативные фразы

[imageman72]

1. Попробуй для тестирования подобрать примеры вручную.
2. При для генерации обучающей и валидационного набора используй разные (не пересекающиеся) наборы фразы. Да, понимаю, что жалко терять часть данных. Но после подбора гипермараметров можно обучить и на всех данных (заново обучить на большом наборе).

Для обычного обучения есть min_child_weight (для предотвращения переобучения).

PS. я как-то упустил XGBRanker (и LGBMRanker), о чем очень жалею. Вполне возможно в моих проектиках они сгодились бы.