По следам статьи Рейтинг русскоязычных энкодеров предложений.

Я решил проверить, как работают модели cointegrated/rubert-tiny и cointegrated/rubert-tiny2 в сравнении с sberbank-ai/ruBERT-base.
Все вышеупомянутые модели имеют архитектуру BERT, но разное число весов и размеры слоев.

Проверяю на двух задачах из проекта чатбота. В них берутся два ( Read more... )

Как побочный результат некоторых экспериментов с эмбеддингами предложений получен вот такой не совсем очевидный заранее результат.
Берем модель BERT, точнее выходы ее последнего слоя, без усреднения.
По сути, получаем для каждого входного токена контексто-зависимый эмбеддинг.
Далее, упаковываем эту последовательность векторов токенов в вектор ( Read more... )

Библиотечка https://www.sbert.net/docs/ содержит удобные инструменты как для получения эмбеддингов предложений (согласно доке, поддерживается 100 языков), так для некоторых базовых операций со списками предложений. Например, очень просто делается поиск ближайшего предложения для запроса. При этом используется косинусная метрика близости ( Read more... )

Продолжение темы изучения питорча: сделал модель бинарного классификатора для определения синонимичности двух фраз с использованием multilinual BERT: гист
( Read more... )

Под катом - особенности определения синонимичности фраз в языке, использование BERT, метрики для оценки моделей и проблема с задачей ранжирования.
( Read more... )

Сравнение выполнялось по f1 weighted метрике на датасете с ~5100 сэмплов через 8-фолдовую кросс-валидацию. Чуть больше 70 интентов с большим дисбалансом.

Финальные результаты:

LinearSVC ~0.77
BERT        ~0.815
ELMo        ~0.817
( Пояснения по моделям )

Сделал оценки нескольких методов для определения, является ли реплика допустимым продолжением диалога ( Read more... )

В новом релизе чатбота в движке сделаны некоторые правки, чтобы получались (иногда) вот такие диалоги:
( Read more... )

По результатам тестов классификатора предложений для https://github.com/dialogue-evaluation/AGRR-2019, возникла дилемма ( Read more... )

В порядке эксперимента обучаю упрощенную модель BERT (урезал число heads и т.д.) на свое русском корпусе.
То, что обучается медленно - факт. Но дело не в этом. Вот как выглядят кривые loss (на обучающей выборке) и val_loss (на валидационной):
( Read more... )