В продолжение темы " Подавление нежелательной лексики при генерации стихотворений с помощью GPT".

Теперь опишу некоторые результаты экспериментов с применением подхода Plug and Play Language Model (https://arxiv.org/abs/1912.02164Ключевая идея тут - коррекция скрытых состояний нейросети таким образом, чтобы увеличивать частоту появления нужных слов ( Read more... )

Некоторые результаты генерации той же моделью, которая выдала эти наставления самураям, но уже по теме народных примет. Привожу as is, без правок, самые хорошие проверял на плагиат через гугл и яндекс.

Если у вас в туалете пахнет не так, как обычно, значит вам туда еще рано.

Если кто-то ворует деньги - это к деньгам.

У кого на спине волосы длинные и ( Read more... )

В заголвке и далее - Подборка результатов генерации GPT, отфайнтюненной на бусидо. Я старался проверять эти тексты на плагиат, но что-то может просочиться.

Умелый мастер никогда не ошибается, даже когда он ничего не знает.

Все, что нас не убивает, можно сделать еще больнее.

Если хочешь победить, сделай вид, что победил.

Когда не знаешь, что ( Read more... )

В docker hub залиты два больших образа с кодом и моделями для запуска телеграм-ботов из репозитория https://github.com/Koziev/verslibre.

1. Генератор четверостиший, с рифмами. Это самая свежая версия, в которой вроде бы неплохо себя показал новый "костыль" для учёта фонетики при генерации текста в ruGPT ( Read more... )

Для экспериментов с генератором хайку, чья выдача была в этом посте, я подготовил докер-образ.
Скачав его, загружаем

sudo docker load -i haiku.tar.gz

и запускаем

sudo docker run -it haiku:latest

Загрузив модели, код выведет в консоли приглашение к вводу темы - символы ( Read more... )

После расширения обучающего датасета и перехода на rugpt3 large ощутимо вырос процент годноты, которую стал выдавать генератор "хокку".

Например, по заданной теме "жёлтая таблетка солнца":

--- С поволокой неба ---

жёлтые таблетки солнца
в руках ребёнка
с поволокой неба

И еще несколько с этой же темой:
( Read more... )

В качестве спин-оффа небольшого ресёча, где мы попробовали использовать GPT для выбора предпочтительного порядка слов в репликах, я решил детально проверить вот такую штуку.

1. Берем SV-затравку для предложения с синтаксисом SVO, например "Кошки любят есть".
2. Перебираем разные аккузативы существительных в качества прямого дополнения O, то есть "Кошки ( Read more... )

Проверяю на работе генеративную модельку после тренировки на новостях, и вот такое в выдаче:

В Вологодской области с начала года на дорогах зарегистрировано более 1 тысячи новых случаев заражения коронавирусом ( Read more... )