Экспериментальная версия чатбота без правил и сценариев
Некоторые подробности по релизу - тут. Ключевая фишка - вместо вороха моделей теперь почти все операции, включая:
1) генерацию ответа в режиме читчата,
2) построение ответа по найденному в БД факту,
3) раскрытие реплики собеседника до полной (анафоры, эллипсисы, лакуны и т.д.)
4) ранжирование вариантов ответа
делается одной GPT-моделью.
В дополнение к ней есть 2 модели на базе ruBERT:
1) определение релевантности вопроса и факта в БД,
2) определение перефрезировок.
ВНИМАНИЕ: без GPU данный бот работает чрезвычайно медленно! Он и на GPU генерирует ответ иногда около минуты, а на CPU легко переходит рамки приличия в ~10 минут.
Иногда получаются смешные диалоги:
1) генерацию ответа в режиме читчата,
2) построение ответа по найденному в БД факту,
3) раскрытие реплики собеседника до полной (анафоры, эллипсисы, лакуны и т.д.)
4) ранжирование вариантов ответа
делается одной GPT-моделью.
В дополнение к ней есть 2 модели на базе ruBERT:
1) определение релевантности вопроса и факта в БД,
2) определение перефрезировок.
ВНИМАНИЕ: без GPU данный бот работает чрезвычайно медленно! Он и на GPU генерирует ответ иногда около минуты, а на CPU легко переходит рамки приличия в ~10 минут.
Иногда получаются смешные диалоги: