Инструктивный подход к генерации стихов: почему бы и нет?

[kelijah]

Есть, например, такая статья: "Help me write a poem: Instruction Tuning as a Vehicle for Collaborative Poetry Writing" arXiv:2210.13669. По сути, это широко известный в современных генеративных диалоговых системах подход, когда учат генеративную модель выполнять некие инструкции, состоящие по сути из имени команды и набора аргументов. Например, "

Comments

[damirmur]

При всем уважении к вашим трудам, это дегенеративное искусство, а не генеративное. Стихи описывают эмоциональное состояние, некий эмоциональный посыл, выраженный словами и ритмом.

[kelijah]

Это вы наверное не видели депрессяшки где-нибудь на просторах ВКонтакте.
Вот где разгул декаданса и морального разложения ;)

[damirmur]

Да нет, почему. Вот популярный психиатр в жж https://dpmmax.livejournal.com/tag/%D0%9F%D0%B8%D1%80%D0%BE%D0%B6%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F
по субботам радует таким творчеством.
Тут дело в другом, это конченная графомания. Мне довелось поневоле общаться с одним графоманом на протяжении нескольких лет, писал рассказики на уровне ИИ. Есть разные виды интеллектов, сейчас почитал гугл выделяют уже 9 (https://strategium.space/lesson/vidy-intellecta/), ИИ нам демонстрирует самый простой, типа, логико-математический интеллект.
А чтобы писать стихи нужен ещё эмоциональный, музыкальный, лингвистический интеллекты, которым ИИ, по определению не обладает.

[kelijah]

>эмоциональный, музыкальный, лингвистический интеллекты, которым ИИ, по определению не обладает.

С эмоциональным, пожалуй, соглашусь. Модель аутичны по определению, они как-то учатся детектировать эмоциональную окраску текстов, с которыми работают, не обладая при этом встроенными механизмами эмоций.

Но вот "лингвистический"... Категорически не соглашусь. Как раз лингвистический слой понимания языка они выучивают очень хорошо. Об этом говорят и многочисленные исследования по пробингу моделей, где видно, что даже частеречные категории определенным образом возникают в активациях скрытых слоев.

Есть только проблема фонетики, но это временно и даже в имеющихся одномодальных моделях обходится специальными подходами к дообучению. Короче говоря, даже чисто текстовые языковые модели можно научить неплохо рифмовать и соблюдать поэтические метры.

В приведенных в моем после генерациях пирожков, кстати, метр соблюден тоже очень хорошо. Учитывая, что под капотом там чисто текстовая модель, которая видела при обучении только прозу - это очень

[p2004r]

Ого как оно закручивает местами!

[kelijah]

Только с юмором совсем не густо. Юмор - святой грааль ИИ :)

Редко-редко получается панч лайн, типа такой неожиданной концовки:

заснуть не может алевтина
всё смотрит как растет олег
как он уже дорос до стула
как скоро станет табурет

[p2004r]

С юмором увы и так. Недавно обнаружил что смеяться над МонтиПайтоном уже как то не очень и могу :)))