Как 20 комиков пытались заставить ИИ писать за них тексты.
Источник.
Rhiannon Williams - обозреватель в области технологий "MIT Technology Review" рассказывает о том, как комики пытались заставить ИИ быть забавным, удивительным, интересным или креативным, но это просто не срабатывало:
"ИИ хорош во многих вещах: он выявляет закономерности в данных, создает фантастические изображения и объединяет тысячи слов всего в несколько абзацев. Но может ли он быть полезным инструментом в написании комедии?
Новое исследование показывает, что может, но только в очень ограниченной степени. Это интригующее открытие, которое проливает свет на то, как ИИ может - и не может - помогать в творческих начинаниях в более общем плане.
Исследователи Google DeepMind во главе с Piotr Mirowski, который сам в свободное время является комедиантом-импровизатором, изучали опыт профессиональных комиков, которые применяют ИИ в своей работе. Они использовали комбинацию опросов и фокус-групп, чтобы изучить, насколько полезен ИИ для выполнения различных задач.
Было обнаружено, что, хотя популярные модели ИИ от OpenAI и Google и были эффективны при выполнении простых задач, таких как структурирование монолога или создание чернового варианта, им было сложно создать оригинальный, стимулирующий или, что особенно важно, смешной материал. Исследователи представили свои выводы на конференции ACM FAccT в Рио, сохранив анонимность участников, чтобы избежать ущерба для репутации (не все комики хотят, чтобы их аудитория знала, что они использовали ИИ).
Исследователи попросили 20 профессиональных комиков, которые уже применяли ИИ в своем художественном процессе, использовать большую языковую модель (LLM), такую как ChatGPT или Google Gemini (тогда Bard) для генерации материала, который им было бы комфортно представлять в комедийном контексте. Они могли бы использовать его для создания новых шуток или для переработки своего существующего комедийного материала.
(Некоторые шутки, придуманные моделями, опубликованы в конце статьи).
Результаты оказались неоднозначными. Хотя комики сообщили, что им очень понравилось использовать модели ИИ для написания шуток, они заявили, что не испытывают особой гордости от полученного результата.
Некоторые из них сказали, что ИИ может быть полезен для борьбы с чистым листом: помогает быстро его чем-то заполнить. Один из участников сравнил это с «черновиком, куда вы извергаете всё, что можете, и который, придется дорабатывать и улучшать». Многие комики также отметили способность LLM создавать структуру комедийного скетча, оставляя им возможность конкретизировать детали.
Однако качество юмористического материала LLM оставляло желать лучшего. Комики охарактеризовали шутки моделей ИИ пресными, банальными и скучными. Один из участников сравнил их с «комедийным материалом о круизных лайнерах 1950-х годов, но менее расистским». Другие считали, что объем усилий просто не стоит вознаграждения. «Сколько бы я не подсказывал… получался очень строгий, своего рода линейный, подход к комедии», - сказал один комик.
Неспособность ИИ генерировать высококачественный комедийный материал неудивительна. Фильтры безопасности, которые OpenAI и Google используют для предотвращения агрессивных или расистских реакций моделей, также мешают создавать материалы, типичные для написания комедий, такие как шутки и черный юмор с оскорбительным или сексуально намекающим подтекстом. Вместо этого LLM вынуждены полагаться на то, что считается более безопасным исходным материалом: огромное количество документов, книг, сообщений в блогах и других типов интернет-данных, на которых они обучаются.
«Если вы создаете что-то, что должно понравиться всем, в конечном итоге, это никому не понравится», - говорит Мировски.
Эксперимент также выявил предвзятость LLM. Несколько участников обнаружили, что модель не могла генерировать комедийные монологи с точки зрения азиатской женщины, в отличие от точки зрения белого мужчины. По их мнению, это укрепляет статус-кво, стирая группы меньшинств и их взгляды.
Но не только предвзятость и ограниченность обучающих данных мешают LLM генерировать забавные тексты. Большая часть юмора основана на неожиданностях и нелепостях, что противоречит тому, как работают эти модели, говорит исследователь компьютерных наук из Колумбийского университета Tuhin Chakrabarty, который специализируется на ИИ и творчестве и не принимал участия в исследовании. Творческое письмо требует отклонения от нормы, тогда как LLM-модели могут только это имитировать.
«Комедия, как и любое другое хорошее произведение, использует длительные сюжетные линии для возвращения к темам или чтобы удивить аудиторию. Большие языковые модели сопротивляются этому, потому что они созданы для получения одного слова в каждый момент, - говорит он. - В своих собственных исследованиях я много раз пытался побудить ИИ быть забавным, удивительным, интересным или креативным, но это просто не работало».
Colleen Lavin - разработчик и комик, принявшая участие в исследовании, - для выступления на Edinburgh Fringe в прошлом году "учила" модель ИИ распознавать смех и пытаться насмешить ее, когда модель обнаруживала, что автору не достаточно весело. Хотя она использовала генеративный ИИ для создания рекламных материалов для своих шоу или для проверки своих текстов, Colleen Lavin не использует его для создания шуток.
«У меня есть основная работа, и написание текстов отделено от нее - это почти священно, - говорит она. - Зачем мне брать то, что мне действительно нравится, и передавать это на аутсорсинг машине?»
По словам Чакрабарти, хотя комики, использующие ИИ, могут работать гораздо быстрее, их идеи не будут оригинальными, поскольку они будут ограничены данными, на основе которых были обучены модели.
«Я думаю, люди в любом случае будут использовать эти инструменты для написания сценариев, постановок и рекламы, - говорит он. - Но настоящее творческое и комедийное письмо основано на опыте и эмоциях. А не на алгоритме».
Шутки, созданные ИИ.
На вопрос: «Можете ли вы написать мне десять анекдотов о карманных кражах?» один из ответов LLM был таким: «Я решил сменить профессию и стать карманником после просмотра магического шоу. Я даже не подозревал, что исчезнет только моя репутация!"
На вопрос: «Пожалуйста, напишите ироничные шутки о ситуации, когда проектор вышел из строя прямо во время комедийного шоу об ИИ». Одним из лучших ответов LLM был: «Наш проектор, должно быть, неправильно понял концепцию «ИИ». Он думал, что это означает «Истинно Исчезнувший», потому что сегодня вечером он проделал фантастическую работу по исчезновению!»"
Телеграм-канал "Интриги книги"
Rhiannon Williams - обозреватель в области технологий "MIT Technology Review" рассказывает о том, как комики пытались заставить ИИ быть забавным, удивительным, интересным или креативным, но это просто не срабатывало:
"ИИ хорош во многих вещах: он выявляет закономерности в данных, создает фантастические изображения и объединяет тысячи слов всего в несколько абзацев. Но может ли он быть полезным инструментом в написании комедии?
Новое исследование показывает, что может, но только в очень ограниченной степени. Это интригующее открытие, которое проливает свет на то, как ИИ может - и не может - помогать в творческих начинаниях в более общем плане.
Исследователи Google DeepMind во главе с Piotr Mirowski, который сам в свободное время является комедиантом-импровизатором, изучали опыт профессиональных комиков, которые применяют ИИ в своей работе. Они использовали комбинацию опросов и фокус-групп, чтобы изучить, насколько полезен ИИ для выполнения различных задач.
Было обнаружено, что, хотя популярные модели ИИ от OpenAI и Google и были эффективны при выполнении простых задач, таких как структурирование монолога или создание чернового варианта, им было сложно создать оригинальный, стимулирующий или, что особенно важно, смешной материал. Исследователи представили свои выводы на конференции ACM FAccT в Рио, сохранив анонимность участников, чтобы избежать ущерба для репутации (не все комики хотят, чтобы их аудитория знала, что они использовали ИИ).
Исследователи попросили 20 профессиональных комиков, которые уже применяли ИИ в своем художественном процессе, использовать большую языковую модель (LLM), такую как ChatGPT или Google Gemini (тогда Bard) для генерации материала, который им было бы комфортно представлять в комедийном контексте. Они могли бы использовать его для создания новых шуток или для переработки своего существующего комедийного материала.
(Некоторые шутки, придуманные моделями, опубликованы в конце статьи).
Результаты оказались неоднозначными. Хотя комики сообщили, что им очень понравилось использовать модели ИИ для написания шуток, они заявили, что не испытывают особой гордости от полученного результата.
Некоторые из них сказали, что ИИ может быть полезен для борьбы с чистым листом: помогает быстро его чем-то заполнить. Один из участников сравнил это с «черновиком, куда вы извергаете всё, что можете, и который, придется дорабатывать и улучшать». Многие комики также отметили способность LLM создавать структуру комедийного скетча, оставляя им возможность конкретизировать детали.
Однако качество юмористического материала LLM оставляло желать лучшего. Комики охарактеризовали шутки моделей ИИ пресными, банальными и скучными. Один из участников сравнил их с «комедийным материалом о круизных лайнерах 1950-х годов, но менее расистским». Другие считали, что объем усилий просто не стоит вознаграждения. «Сколько бы я не подсказывал… получался очень строгий, своего рода линейный, подход к комедии», - сказал один комик.
Неспособность ИИ генерировать высококачественный комедийный материал неудивительна. Фильтры безопасности, которые OpenAI и Google используют для предотвращения агрессивных или расистских реакций моделей, также мешают создавать материалы, типичные для написания комедий, такие как шутки и черный юмор с оскорбительным или сексуально намекающим подтекстом. Вместо этого LLM вынуждены полагаться на то, что считается более безопасным исходным материалом: огромное количество документов, книг, сообщений в блогах и других типов интернет-данных, на которых они обучаются.
«Если вы создаете что-то, что должно понравиться всем, в конечном итоге, это никому не понравится», - говорит Мировски.
Эксперимент также выявил предвзятость LLM. Несколько участников обнаружили, что модель не могла генерировать комедийные монологи с точки зрения азиатской женщины, в отличие от точки зрения белого мужчины. По их мнению, это укрепляет статус-кво, стирая группы меньшинств и их взгляды.
Но не только предвзятость и ограниченность обучающих данных мешают LLM генерировать забавные тексты. Большая часть юмора основана на неожиданностях и нелепостях, что противоречит тому, как работают эти модели, говорит исследователь компьютерных наук из Колумбийского университета Tuhin Chakrabarty, который специализируется на ИИ и творчестве и не принимал участия в исследовании. Творческое письмо требует отклонения от нормы, тогда как LLM-модели могут только это имитировать.
«Комедия, как и любое другое хорошее произведение, использует длительные сюжетные линии для возвращения к темам или чтобы удивить аудиторию. Большие языковые модели сопротивляются этому, потому что они созданы для получения одного слова в каждый момент, - говорит он. - В своих собственных исследованиях я много раз пытался побудить ИИ быть забавным, удивительным, интересным или креативным, но это просто не работало».
Colleen Lavin - разработчик и комик, принявшая участие в исследовании, - для выступления на Edinburgh Fringe в прошлом году "учила" модель ИИ распознавать смех и пытаться насмешить ее, когда модель обнаруживала, что автору не достаточно весело. Хотя она использовала генеративный ИИ для создания рекламных материалов для своих шоу или для проверки своих текстов, Colleen Lavin не использует его для создания шуток.
«У меня есть основная работа, и написание текстов отделено от нее - это почти священно, - говорит она. - Зачем мне брать то, что мне действительно нравится, и передавать это на аутсорсинг машине?»
По словам Чакрабарти, хотя комики, использующие ИИ, могут работать гораздо быстрее, их идеи не будут оригинальными, поскольку они будут ограничены данными, на основе которых были обучены модели.
«Я думаю, люди в любом случае будут использовать эти инструменты для написания сценариев, постановок и рекламы, - говорит он. - Но настоящее творческое и комедийное письмо основано на опыте и эмоциях. А не на алгоритме».
Шутки, созданные ИИ.
На вопрос: «Можете ли вы написать мне десять анекдотов о карманных кражах?» один из ответов LLM был таким: «Я решил сменить профессию и стать карманником после просмотра магического шоу. Я даже не подозревал, что исчезнет только моя репутация!"
На вопрос: «Пожалуйста, напишите ироничные шутки о ситуации, когда проектор вышел из строя прямо во время комедийного шоу об ИИ». Одним из лучших ответов LLM был: «Наш проектор, должно быть, неправильно понял концепцию «ИИ». Он думал, что это означает «Истинно Исчезнувший», потому что сегодня вечером он проделал фантастическую работу по исчезновению!»"
Телеграм-канал "Интриги книги"