Тренирую модель с архитектурой LLaMa, но с посимвольной токенизацией и урезанную до 20 млн параметров. Обучение с нуля на русском корпусе.
Взял сейчас промежуточный чекпоинт, примерно 10B токенов прошло.
Отфайнтюнил на стихах, пробую генерацию продолжения для "У Лукоморья дуб зеленый":

пример генерации:

У Лукоморья дуб зеленый ( Read more... )

Для некоторых экспериментов в области генерации контента я сейчас обучаю модельки с посимвольной токенизацией (типа byT5, но именно для символов).

Выложил первую: inkoziev/chargpt-96M. Как следует из названия, у нее всего 96 миллионов параметров. Как раз для прототипов, когда хочется сбацать какой-нибудь классификатор или фонетический транскриптор ( Read more... )

Что-то вроде спойлера: подбиваю материалы для доклада по экспериментам с разными моделями, которые файнтюнятся на датасете со стихами. Результаты оцениваются с технической точки зрения - попадание в классический метр и рифмовка ( Read more... )

В репозитории vector2text я выложил код эксперимента с управлением авторегрессионной генерацией русского текста в декодерной модели. Код самодостаточен, то есть из внешних зависимостей там только torch, transformers и sentence-transformers. Также отмечу, что предлагаемый подход не требует модификации внутренностей классов transformers.GPT2Model. ( Read more... )

В датасете болталки нет никаких английских переводов, вообще "fish" ни разу не встречается.

Сейчас ткнул в чатбота и увидел:


( Read more... )

Эксперименты с разными подходами к декодированию в силлабо-тонической GPT продолжаются, аж дым столбом стоит :)

Как я уже писал, typical decoding, вкрученный не так давно в мастер-ветку transformers, работает лучше, что старина nucleus sampling. Ну и prompt engineering, как разводной ключ в руках сантехника, порой творит чудеса.

Заглавный пример, ( Read more... )

Новая модель генеративных стихов с кучкой всяких улучшений, жанр "лирика", затравка "внезапный снег в начале ноября":

Внезапный снег в начале ноября,
Зима идёт короткими шагами,
И упадёт, как лист календаря,
И белыми покроется снегами.

Весёлые пшеничные поля,
Из белого нетронутого снега,
И под ногами вечная земля,
Умытая небес святая нега.

А ( Read more... )

1. Берем кучу диалогов. Я для эксперимента взял всего ~300Мб из имеющихся 20 Гб, но только ради быстрой проверки идеи.

2. В каждом диалоге перед последней репликой ставим специальную "управляющую" строку такого вида:

[l=123]

Где 123 - длина последней реплики в символах.

Обучающие данные получаются примерно такие:

- Ты кто?
[l=9]
- Дед Пихто
( Read more... )

Телеграм-бот с чатботом доступен в телеграмме http://t.me/vika_chatbot

Там крутится пайплайн из этого репозитория, но с уменьшенной моделью (sberbank-ai/rugpt3small_based_on_gpt2). Это более чем на порядок ускорило работу бота. Цена такого даунгрейда - некоторая деградация качества диалогов, например для интерпретатора ухудшение составляет ( Read more... )

После расширения обучающего датасета и перехода на rugpt3 large ощутимо вырос процент годноты, которую стал выдавать генератор "хокку".

Например, по заданной теме "жёлтая таблетка солнца":

--- С поволокой неба ---

жёлтые таблетки солнца
в руках ребёнка
с поволокой неба

И еще несколько с этой же темой:
( Read more... )