В датасете болталки нет никаких английских переводов, вообще "fish" ни разу не встречается.

Сейчас ткнул в чатбота и увидел:


( Read more... )

Я начал длительный эксперимент с подбором оптимальных параметров генеративки для чатбота с таким сеттингом:

1. Базовая модель - sberbank-ai/rugpt3medium_based_on_gpt2

2. Она фантюнится на датасете, в котором около 100000 грязных и чистых диалогов, плюс 80000 сэмплов с арифметическими задачами, плюс ~100000 QA пар. Параметры файнтюна тоже надо ( Read more... )

Еще немного результатов оценки моделей читчата, которые я сам тренировал, на простых арифметических задачах. В отличие от ранее приводившихся оценок, тут модели тренировались на большом датасете диалогов с небольшой добавкой арифметических сэмплов.

Результаты:

ruT5-large, только читчат  ~0.97
ruGPT-large, только читчат  ~0.91ruGPT-large, читчат+ ( Read more... )

Допустим, у нас есть датасет для файнтюна GPT болталки. Не очень большой, кстати, около 80_000 сэмплов.

И есть тестовые датасеты с сэмплами арифметических задач и common-sense reasoning задач ( Read more... )

Подробный перечень того, что сделано в этой сборке - в change log'е.

Из основного - используются модели chitchat+reasoner (есть отдельно тут) и интерпретатора кратких реплик (есть отдельно тут). Качество этих моделей пока далеко от моих очевидно завышенных ожиданий. Но тем не менее по мере расширения датасетов генерация вызывает все меньше ( Read more... )

В продолжение поста https://kelijah.livejournal.com/304485.html.

1) Я подготовил и выложил в репозиторий https://huggingface.co/inkoziev/rugpt_chitchat более тяжелую модель с 760 млн. параметров ( Read more... )

Disclaimer1) Выложена модель уровня rugpt3small_based_on_gpt2 (125 млн. параметров), то есть *самая маленькая*. С одной стороны это позволяет делать инференс весьма быстро, например на моей rtx 3090 это происходит со скоростью около 0.7 генераций в секунду. С другой стороны, такая маленькая GPT чаще, чем свои более бодипозитивные сестры, выдает ( Read more... )

Преамбула

Если уделить некоторое время анализу архитектуры доступных русскоязычных (и не только) "виртуальных ассистентов" уровня "голосовая колонка", то можно заметить одну примечательную особенность. Они все очень похожи друг на друга и на своих англоязычных аналогов.

Думаю, это результат исключительно человеческого фактора на уровне ( Read more... )

1) Улучшена предварительная фильтрация мусора в диалогах с имиджборд. Файл с диалогами (plain text utf-8) с этими диалогами выложен в виде архива, разбитого на тома по 20 Мб в репе https://github.com/Koziev/NLP_Datasets:

[часть_1] [часть_2] [часть_3] [часть_4] [часть_5] [часть_6 ( Read more... )

1. Берем кучу диалогов. Я для эксперимента взял всего ~300Мб из имеющихся 20 Гб, но только ради быстрой проверки идеи.

2. В каждом диалоге перед последней репликой ставим специальную "управляющую" строку такого вида:

[l=123]

Где 123 - длина последней реплики в символах.

Обучающие данные получаются примерно такие:

- Ты кто?
[l=9]
- Дед Пихто
( Read more... )