Я начал длительный эксперимент с подбором оптимальных параметров генеративки для чатбота с таким сеттингом:

1. Базовая модель - sberbank-ai/rugpt3medium_based_on_gpt2

2. Она фантюнится на датасете, в котором около 100000 грязных и чистых диалогов, плюс 80000 сэмплов с арифметическими задачами, плюс ~100000 QA пар. Параметры файнтюна тоже надо ( Read more... )

По ходу экспериментов с новой архитектурой для диалоговой системы заметил вот такой забавный момент.

Итак, изучаем способность генеративных моделей отвечать на арифметические вопросы в рамках 1-4 классов начальной школы. Возможно, кому-то повезло видеть всякие книжечки типа такого:
( Учат в школе, учат в школе, учат в школе... )

Вдруг кому-то пригодится: генеративную модель на базе ruGPT для раскрытия реплик в диалоге до полных фраз я выложил на higgungfaceТам в карточке модели есть пример использования на python + torch + transformers, и краткое описание ( Read more... )

Заметка Language Models Perform Reasoning via Chain of Thought описывает few-shot подход к генерации ответов с побочным продуктом в виде раскрытой "цепочки рассуждений" (ага, примерно так и учат в школе - не просто написать ответ, а расписать ход решения):
( Скрин из заметки... )

Хочу поделиться парой интересных табличек, получившихся в ходе некоторого исследования алгоритмов декодирования GPT ( Read more... )

Давненько я не отряхивал пыль с генератора бусидо!
А тут возникла мысль добавить его в ту же модель, которая генерит хайку.
Теперь эта парочка готова выдавать восточную мудрость в режиме 24/7: https://t.me/haiku_guru_bot
Команда /start выведет меню выбора домена:
( Read more... )

Статья - https://arxiv.org/pdf/2202.00666.pdf

В статье есть ссылка на питоновскую реализацию в виде класса TypicalLogitsWarper.

Этот метод можно рассматривать как третий вариант сэмплинга, дополняющего top-k и top-p подходы. Тут мы тоже берем подмножество токенов, и выбираем ( Read more... )

2,000,000 слов из моего поэтического корпуса прошли токенизацию штатным токенизатором rugpt. Получилось, что в среднем одно слово, за исключением знаков пунктуации, дает 1.839 токенов.

Если этот же набор слов обработать токенизатором силлабо-тонической GPT из генератора стихов, который обычно бьет слова на слоги, то получается, что в среднем одно ( Read more... )

Продолжение отчета про эксперименты с управлением генерацией текста. Сеттинг нового эксперимента почти тот же самый:

• В качестве генеративной модели используется rugpt (вариант sberbank-ai/rugpt3medium_based_on_gpt2)
• Управление генерацией делается через подход Plug and Play Language Model (https://arxiv.org/abs/1912.02164), мой код
• Целевая функция - ( Read more... )

Это вторая часть темы " Управление генерацией текста в ruGPT с помощью Plug and Play Language ModelВторой подход в PPLM заключается в использовании натренированного классификатора. Предполагается, что поверх репрезентаций текста в GPT обучен некий классификатор, и мы хотим, чтобы генерируемые тексты чаще классифицировались каким-то определенным ( Read more... )