Продолжаю погружение в TDA, а именно в тему "Artificial Text Detection" через расчеты топологических метрик.

После стихов появилась мысль попробовать применить эти топологические инструменты к диалогам.

В последний год массовой практикой стала генерация диалогов через апишку OpenAI и обучение моделей чатботов (и даже базовых моделей - см. статью ( Read more... )

В прошлом году я рассказывал про небольшой датасетик с арифметическими задачами и про эксперименты с GPT, отфайнтюненной на нем.

Учитывая хайп с ChatGPT, я серьезно расширил и улучшил датасет :)

Теперь в нем:

1) Больше текстовой вариативности. Вместо сухих числовых ответов зачастую задан обрамляющий текст:

question: Чему равно 2+2?
answer: 2+2 равно 4
( Read more... )

1) Улучшена предварительная фильтрация мусора в диалогах с имиджборд. Файл с диалогами (plain text utf-8) с этими диалогами выложен в виде архива, разбитого на тома по 20 Мб в репе https://github.com/Koziev/NLP_Datasets:

[часть_1] [часть_2] [часть_3] [часть_4] [часть_5] [часть_6 ( Read more... )

В репозитории https://github.com/Koziev/NLP_Datasets выложены побочные результаты всяких моих экспериментов с чатботами - наскрапленные, очищенные и отформатированные диалоги:

1) диалоги из анекдотов 8 Мб

2) диалоги с имиджборд 390 Мб архив_№1 и архив_№2 (осторожно - зашкаливающий уровень ненависти и 18+)

3) диалоги из худлита (Флибуста) 400 Мб ( Read more... )

Свёл для тестирования две болталки (одна из них - проект Axioma), смотрю на их диалоги. Бывает весьма неплохо, насколько это может быть применимо к чатботам вообще:

( Болтовня болталок... )

За последние полгода в диалоговый движок внесено много изменений (очень много). Полный changelog будет доступен при очередном релизе (см. о планах ниже). Но самое главное изменение - расширенное использование генеративных языковых моделей, в том числе предобученных.

Последние пару месяцев проходило внутренее тестирование новой версии. Я брал ( Read more... )

В продолжение поста о модели интерпретатора.

Эксперименты с обучением seq2seq модели показывают, что имеющегося набора обучающих данных (~76 тысяч сэмплов) маловато.
Хотя по мере добавления новых сэмплов (особенно в ходе итераций active learning) качество растет ( Read more... )

Оценка модели чатбота чещь непростая, но очень нужная ( Read more... )

В репозитории выложен докер-образ со сборкой чатбота, в которую вошли следующие изменения.
( Read more... )

Ручное тестирование чатбота постепенно становится обременительным из-за роста числа разных тем, которые поддерживает движок. В связи с этим было решено поручить "протыкивание" второму чатботу. Затем листинги бесед двух мудрецов можно просмотреть и выявить явные разрывы, нерелевантные ответы и так далее ( Read more... )