1) Я взял датасет с инструкциями из IlyaGusev/ru_turbo_alpaca (кстати, вот тут есть детали, что с этим делают)

2) Долил к нему мой датасет многошаговых диалогов (читчат, примерно 10 тысяч диалогов)

3) Добавил своих сэмплов с common sense reasoning (около 7 тысяч)

4) Отфайнтюнил на этом датасете FRED T5 XL 1.7 млрд. Файнтюн у меня немного отличается от ( Read more... )

В датасете болталки нет никаких английских переводов, вообще "fish" ни разу не встречается.

Сейчас ткнул в чатбота и увидел:


( Read more... )

Допустим, у нас есть датасет для файнтюна GPT болталки. Не очень большой, кстати, около 80_000 сэмплов.

И есть тестовые датасеты с сэмплами арифметических задач и common-sense reasoning задач ( Read more... )

Подробный перечень того, что сделано в этой сборке - в change log'е.

Из основного - используются модели chitchat+reasoner (есть отдельно тут) и интерпретатора кратких реплик (есть отдельно тут). Качество этих моделей пока далеко от моих очевидно завышенных ожиданий. Но тем не менее по мере расширения датасетов генерация вызывает все меньше ( Read more... )

В продолжение поста https://kelijah.livejournal.com/304485.html.

1) Я подготовил и выложил в репозиторий https://huggingface.co/inkoziev/rugpt_chitchat более тяжелую модель с 760 млн. параметров ( Read more... )

Disclaimer1) Выложена модель уровня rugpt3small_based_on_gpt2 (125 млн. параметров), то есть *самая маленькая*. С одной стороны это позволяет делать инференс весьма быстро, например на моей rtx 3090 это происходит со скоростью около 0.7 генераций в секунду. С другой стороны, такая маленькая GPT чаще, чем свои более бодипозитивные сестры, выдает ( Read more... )

Преамбула

Если уделить некоторое время анализу архитектуры доступных русскоязычных (и не только) "виртуальных ассистентов" уровня "голосовая колонка", то можно заметить одну примечательную особенность. Они все очень похожи друг на друга и на своих англоязычных аналогов.

Думаю, это результат исключительно человеческого фактора на уровне ( Read more... )

1. Берем кучу диалогов. Я для эксперимента взял всего ~300Мб из имеющихся 20 Гб, но только ради быстрой проверки идеи.

2. В каждом диалоге перед последней репликой ставим специальную "управляющую" строку такого вида:

[l=123]

Где 123 - длина последней реплики в символах.

Обучающие данные получаются примерно такие:

- Ты кто?
[l=9]
- Дед Пихто
( Read more... )

Телеграм-бот с чатботом доступен в телеграмме http://t.me/vika_chatbot

Там крутится пайплайн из этого репозитория, но с уменьшенной моделью (sberbank-ai/rugpt3small_based_on_gpt2). Это более чем на порядок ускорило работу бота. Цена такого даунгрейда - некоторая деградация качества диалогов, например для интерпретатора ухудшение составляет ( Read more... )

Книжке около 40 лет. Эдакий привет эпохи доминирования символьного подхода в ИИ.
( Обложка... )