В репозитории https://github.com/Koziev/NLP_Datasets выложены побочные результаты всяких моих экспериментов с чатботами - наскрапленные, очищенные и отформатированные диалоги:

1) диалоги из анекдотов 8 Мб

2) диалоги с имиджборд 390 Мб архив_№1 и архив_№2 (осторожно - зашкаливающий уровень ненависти и 18+)

3) диалоги из худлита (Флибуста) 400 Мб ( Read more... )

Диалог двух чатботов. Axioma - это бот отсюда, Joy это https://t.me/GenerativeBeast2Bot. Обратите внимание на пассаж про собак.

Axioma:> Здрасьте :)
Joy:> Привет!
Axioma:> Как у тебя с настроением?
Joy:> Рабочее
Axioma:> Очень здорово слышать такой оптимизм
Joy:> Спасибо 🙂
Axioma:> Ты тоже любишь общаться?
Joy:> Да, очень!
Axioma:> А ( Read more... )

Некоторые подробности по релизу - тут. Ключевая фишка - вместо вороха моделей теперь почти все операции, включая ( Read more... )

Про изменения в модели интерпретатора и нормализатора в новой версии чатбота я уже отчитался. Теперь пора раскрыть еще одно новшество - как чатбот использует базу фактов (в общем случае - базу декларативных знаний).

Вот реальный тестовый диалог чатбота (метки B) с живым человеком (метки H). Бот использует профиль, где указаны, среди прочего, его ( Read more... )

Текущая задача в проекте чатбота - полностью переработать старое гибридное ядро, отказаться от ведущей роли написанных вручную правил и сценариев. Как минимум правила должны стать второстепенным, вспомогательным механизмом для быстрой кастомизации бота в ситуациях, когда до/пере-обучать генеративную модель тяжело или невозможно по соображениям ( Read more... )

Свёл для тестирования две болталки (одна из них - проект Axioma), смотрю на их диалоги. Бывает весьма неплохо, насколько это может быть применимо к чатботам вообще:

( Болтовня болталок... )

Иногда в беседах с ИскИнами бывает что-то такое...

Вроде простая мелочь, но если вдуматься - можно найти глубокие аналогии с детским периодом усвоения родного языка у человека:


( Read more... )

В репозитории выложен докер-образ со сборкой чатбота, в которую вошли следующие изменения.
( Read more... )

Даже после переобучения на небольшом кусочке (~10%) датасета читчата модель ruGPT2Large начала выдавать вполне годные реплики, хорошо попадающие в контекст беседы:
( диалоги двух ботов... )

Из тестовой выдачи - моделька читчата генерит ответы на вопросы "что такое" и "кто такой":
( Read more... )