GPT-4 тупеет на глазах
Сверкающий дворец воображаемого прекрасного будущего человечества, в котором за нас будет думать Великий (и ужасный) Искусственный Интеллект, дал первые трещины. Первой забила тревогу группа исследователей из Великобритании и Канады, опубликовавшая в мае статью "Проклятие рекурсии: Обучение на сгенерированных данных заставляет модели забывать", в которой предупреждает, что использование при обучении лингвистических моделей контента, сгенерированного самими моделями (и сейчас активно заполняющего интернет), приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели - «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения».
«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, - прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. - Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.
Попадание чересчур большого количества сгенерированных текстов в обучающую выборку действительно может привести к формированию петли обратной связи, которая сузит диапазон знаний конкретной системы и заставит ее сжиматься до ограниченного набора результатов. Исследователи предупреждают, что для обеспечения достоверности данных прежде всего нужен доступ к реальным данным, созданным человеком. То есть ИИ не способен создавать новый достоверный контент, он представляет собой эдакий гибрид попугая и "испорченного телефона".
* * *
Еще одна статья появилась 18 июля и сразу привлекла к себе общее внимание. Исследователи из Стэнфордского университета и Калифорнийского университета в Беркли опубликовали совместную научную работу, в которой утверждается, что ответы модели GPT-4 меняются с течением времени. Эта работа подпитывает распространённое, но пока недоказанное мнение о том, что производительность популярной ИИ-модели естественного языка за последние несколько месяцев сильно ухудшилась во многих задачах.
В исследовании под названием «Как меняется поведение ChatGPT с течением времени?», опубликованном на arXiv, Линцзяо Чэнь, Матэй Захария и Джеймс Зоу выразили сомнение в постоянно высокой производительности крупных языковых моделей OpenAI, в частности GPT-3.5 и GPT-4.
Используя доступ через API, специалисты тестировали версии этих моделей за март и июнь 2023 года на таких заданиях, как решение математических задач, ответы на деликатные вопросы, генерация кода и визуальное мышление. В частности, способность GPT-4 определять простые числа, по данным исследователей, резко упала с точности 97,6% в марте до всего 2,4% уже в июне. Но вот что странно - модель GPT-3.5 в большинстве задач наоборот показала улучшенную производительность за тот же период [Вероятнее всего потому, что она значительно менее сложна и обучена на порядок меньшем количестве данных, то есть масштабирование здесь является огромной проблемой - ГВ].
Мотивация провести подобное исследование у учёных появилось вскоре после того, как люди начали массово жаловаться, что производительность GPT-4 якобы стала постепенно снижаться. Одна из популярных теорий о возможных причинах подразумевает искусственное ограничение производительности самой компанией OpenAI для снижения вычислительных затрат, повышенной скорости отклика и экономии ресурса графических процессоров. Ещё одна забавная теория заключается в том, что «тупым» GPT-4 сделали люди, которые просто часто задают ему глупые вопросы.
Между тем, OpenAI последовательно отрицает любые заявления о том, что возможности GPT-4 ухудшились. Только в прошлый четверг вице-президент OpenAI по продуктам Питер Велиндер написал в своём Twitter *: «Нет, мы не делали GPT-4 глупее. Скорее наоборот: мы делаем каждую новую версию умнее предыдущей».
Однако, повсеместные заявления о снижении производительности GPT-4 заставили OpenAI провести собственное расследование. «Команда знает о сообщаемом регрессе и изучает этот вопрос», - сообщил в эту среду Логан Килпатрик, глава отдела разработки OpenAI.
Возможно, светлые умы на стороне смогли бы помочь разработчикам OpenAI выяснить причину регресса их системы, однако исходный код GPT-4 закрыт для сторонних разработчиков, за что компанию порицают при каждом удобном случае.
OpenAI не раскрывает источники обучающих материалов для GPT-4, исходный код или даже описание архитектуры модели. С закрытым «чёрным ящиком» вроде GPT-4 исследователи остаются «блуждать в темноте», пытаясь определить свойства системы, которая может иметь дополнительные неизвестные компоненты. Кроме того, модель может измениться в любое время без предупреждения.
* * *
Получается, что чем более похожим на нас мы стараемся сделать "искусственный интеллект", тем больше он приобретает и наших отрицательных качеств, от откровенной лжи и подтасовок до возможности галлюцинаций, умственной деградации и даже внезапного помешательства от перегрузок. Так что доверить ему что-то более серьезное, нежели помощь человеку в сборе и обработке данных, рисование картинок к статьям или создание дайджестов новостей для обывателей, вряд ли кто-то решится.
О том, что эта область достигла своего уровня насыщения и дальше может наблюдаться если не откат, то как минимум плато, свидетельствует еще один немаловажный факт. Глобально сфера ИИ - одна из самых щедро инвестируемых, однако в 2022 году показатель объема частных вложений в эту область сократился впервые за десятилетие. Так, в прошлом году инвестиции в ИИ в мире составили $91,9 млрд, это на 27% меньше, чем в 2021 году, когда показатель составлял рекордные $125,4 млрд, говорится в отчете Стэнфордского университета «Индекс искусственного интеллекта-2023». При этом прошлогодний показатель в полтора раза выше уровня 2020 года и в 18 раз - 2013 года.
Источники:
https://www.forbes.ru/tekhnologii/491359-gradacia-degradacii-ozidaet-li-generativnyj-iskusstvennyj-intellekt-vyrozdenie
https://www.securitylab.ru/news/540205.php
«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, - прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. - Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.
Попадание чересчур большого количества сгенерированных текстов в обучающую выборку действительно может привести к формированию петли обратной связи, которая сузит диапазон знаний конкретной системы и заставит ее сжиматься до ограниченного набора результатов. Исследователи предупреждают, что для обеспечения достоверности данных прежде всего нужен доступ к реальным данным, созданным человеком. То есть ИИ не способен создавать новый достоверный контент, он представляет собой эдакий гибрид попугая и "испорченного телефона".
* * *
Еще одна статья появилась 18 июля и сразу привлекла к себе общее внимание. Исследователи из Стэнфордского университета и Калифорнийского университета в Беркли опубликовали совместную научную работу, в которой утверждается, что ответы модели GPT-4 меняются с течением времени. Эта работа подпитывает распространённое, но пока недоказанное мнение о том, что производительность популярной ИИ-модели естественного языка за последние несколько месяцев сильно ухудшилась во многих задачах.
В исследовании под названием «Как меняется поведение ChatGPT с течением времени?», опубликованном на arXiv, Линцзяо Чэнь, Матэй Захария и Джеймс Зоу выразили сомнение в постоянно высокой производительности крупных языковых моделей OpenAI, в частности GPT-3.5 и GPT-4.
Используя доступ через API, специалисты тестировали версии этих моделей за март и июнь 2023 года на таких заданиях, как решение математических задач, ответы на деликатные вопросы, генерация кода и визуальное мышление. В частности, способность GPT-4 определять простые числа, по данным исследователей, резко упала с точности 97,6% в марте до всего 2,4% уже в июне. Но вот что странно - модель GPT-3.5 в большинстве задач наоборот показала улучшенную производительность за тот же период [Вероятнее всего потому, что она значительно менее сложна и обучена на порядок меньшем количестве данных, то есть масштабирование здесь является огромной проблемой - ГВ].
Мотивация провести подобное исследование у учёных появилось вскоре после того, как люди начали массово жаловаться, что производительность GPT-4 якобы стала постепенно снижаться. Одна из популярных теорий о возможных причинах подразумевает искусственное ограничение производительности самой компанией OpenAI для снижения вычислительных затрат, повышенной скорости отклика и экономии ресурса графических процессоров. Ещё одна забавная теория заключается в том, что «тупым» GPT-4 сделали люди, которые просто часто задают ему глупые вопросы.
Между тем, OpenAI последовательно отрицает любые заявления о том, что возможности GPT-4 ухудшились. Только в прошлый четверг вице-президент OpenAI по продуктам Питер Велиндер написал в своём Twitter *: «Нет, мы не делали GPT-4 глупее. Скорее наоборот: мы делаем каждую новую версию умнее предыдущей».
Однако, повсеместные заявления о снижении производительности GPT-4 заставили OpenAI провести собственное расследование. «Команда знает о сообщаемом регрессе и изучает этот вопрос», - сообщил в эту среду Логан Килпатрик, глава отдела разработки OpenAI.
Возможно, светлые умы на стороне смогли бы помочь разработчикам OpenAI выяснить причину регресса их системы, однако исходный код GPT-4 закрыт для сторонних разработчиков, за что компанию порицают при каждом удобном случае.
OpenAI не раскрывает источники обучающих материалов для GPT-4, исходный код или даже описание архитектуры модели. С закрытым «чёрным ящиком» вроде GPT-4 исследователи остаются «блуждать в темноте», пытаясь определить свойства системы, которая может иметь дополнительные неизвестные компоненты. Кроме того, модель может измениться в любое время без предупреждения.
* * *
Получается, что чем более похожим на нас мы стараемся сделать "искусственный интеллект", тем больше он приобретает и наших отрицательных качеств, от откровенной лжи и подтасовок до возможности галлюцинаций, умственной деградации и даже внезапного помешательства от перегрузок. Так что доверить ему что-то более серьезное, нежели помощь человеку в сборе и обработке данных, рисование картинок к статьям или создание дайджестов новостей для обывателей, вряд ли кто-то решится.
О том, что эта область достигла своего уровня насыщения и дальше может наблюдаться если не откат, то как минимум плато, свидетельствует еще один немаловажный факт. Глобально сфера ИИ - одна из самых щедро инвестируемых, однако в 2022 году показатель объема частных вложений в эту область сократился впервые за десятилетие. Так, в прошлом году инвестиции в ИИ в мире составили $91,9 млрд, это на 27% меньше, чем в 2021 году, когда показатель составлял рекордные $125,4 млрд, говорится в отчете Стэнфордского университета «Индекс искусственного интеллекта-2023». При этом прошлогодний показатель в полтора раза выше уровня 2020 года и в 18 раз - 2013 года.
Источники:
https://www.forbes.ru/tekhnologii/491359-gradacia-degradacii-ozidaet-li-generativnyj-iskusstvennyj-intellekt-vyrozdenie
https://www.securitylab.ru/news/540205.php