Нейроколлапс обессмысливает GPT-модели: деградация сетевых знаний по закону Донды - как обещано
По наводке miller777 нашлись статьи, подтвердившая уже публиковавшуюся в этом журнале гипотезу* о судьбе фальшивого Искусственного Интеллекта - гигантских обучающих и обученных таблиц. Особенно это касается "больших языковых моделей" (LLM), ныне представленных GPT-1...n.
Статья в Forbes 29 июня 2023 Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ обсуждает выводы профессиональной статьи в издании Корнелльского университета: 27/31 мая 2023 Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать: "Что произойдет с GPT-n после того, как LLM внесут большую часть контента, доступного в Интернете? Мы обнаружили, что использование контента, сгенерированного моделью, в обучении вызывает необратимые дефекты в полученных моделях, когда исчезают хвосты исходного распределения контента"**.
Менее чем через 2 месяца после сообщения Корнелльского университета, появилось практически подтверждающая статья Стэнфордского университета: 20 июля 2023 Заявления пользователей о «деградации» популярного чат-бота взялись проверить учёные Стэнфордского университета. Они провели полноценное исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца.***.
Первый тревожный звоночек прозвенел еще в начале апреля: ...Алгоритмы, лежащие в основе современных систем искусственного интеллекта (ИИ), нуждаются в большом количестве данных для обучения. Большая часть этих данных поступает из открытой сети, что, к сожалению, делает сайт уязвимым для кибератак, известных как «отравление данных»... Заменив тысячу изображений яблок (всего 0,00025% данных) случайно выбранными изображениями, команда смогла заставить ИИ, обученный на «отравленных» данных, постоянно ошибочно маркировать изображения как содержащие яблоки. Замена того же количества изображений, которые были помечены как «небезопасные для работы», на безвредные изображения привела к тому, что искусственный интеллект пометил подобные безобидные изображения как опасные.****
Попробуем разобраться, как это происходит - тем более, что гипотеза от таком развитии событий уже выдвигалась в 2019-м*, и прослеживались аналогии с более ранним предсказанием нейроколлапса (Станислав Лем. "Профессор А. Донда". 1976 год).
Что было сказано в этом журнале в 2019-м:
(2019-07-02*)...Я скептически отношусь к современной генеральной линии в области прикладного моделирования интеллекта. Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м (т.н. концепция многослойного персептрона, или т.н. искусственных нейронных сетей). Уже через 10 лет стало понятно, что в исходной (вполне гениальной) идее были, все-таки, слишком урезаны функции нейрона и игнорировались функции инфохимической среды, поэтому сети на таких виртуальных модельных нейронах достигнут, в лучшем случае, интеллекта медузы.
Научное сообщество занялось было поисками продвинутой модели, но еще через 10 лет начался экстенсивный рост ресурсов компьютерной памяти и вычислительной мощности. Кто-то решил. что при таких ресурсах BigData, для ИИ будет вполне достаточно интеллекта медузы. Перспективные исследования были свернуты, и прикладная наука бросилась искать пути форсированной набивки электронной медузы - массивами данных. В итоге, мы имеем сейчас не эпоху Искусственного Интеллекта, а эпоху Искусственного Имбецила (очень удобно - не надо даже менять аббревиатуру ИИ). ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач (заведомо ограниченном, как доказали Мински и Паперт в 1969-м)..
Полбеды (точнее лишь крохотная доля беды), что нынешний "табличный" лже-ИИ лишен контура построения хоть какой-то модели мира, т.е. лишен моделирования смысла. Это означает лишь ограниченность областей его применения - узким сектором задач генерации чего-либо по совокупности шаблонов, проверенных и одобренных группой людей.
Настоящая большая беда, что нынешний "табличный" лже-ИИ сразу после появления на рынке стал применяться вопреки этой ограниченности. Проще говоря: лже-ИИ была присвоена роль универсального консультанта и ментора для всех и во всем. Это на несколько порядков усилило тенденцию к наполнению интернета не содержательными данными, а разнообразным трэшем, разбавляющим содержательные данные - ведь модель типа GPT генерируют контент на несколько порядков быстрее, чем человек.
Заметим:
Человек, даже намеренно создавая трэш - конструирует в нем хотя бы какой-то связный смысл. Так уж устроены люди.
LLM/GPT заведомо создает только бессмысленный и бессвязный контент, в котором остатки смысла и связности содержатся лишь в используемых обучающих фрагментах, созданных людьми. Так уж устроены большие таблицы, "обучаемые на примерах".
Соответственно, интернет наполняется бессмысленным машиногенным контентом, в котором доля осмысленного человеческого контента стремится к 0%. Таким образом, контент взятый из интернета, становится токсичной бессмыслицей (инфотоксином) при обучении следующей версии LLM/GPT. Отсюда - эффект "машинного отупения", подтвержденный Стэнфордским университетом***. Уровень бессмысленности информационной помойки, в которую превращается интернет - уже качественно превысил тот уровень бессмысленности, о котором говорилось 4 года назад:
(2019-10-17*)...Для меня символом сверхкритического трэша стал финский художественный фильм 2012 года "Железное небо", с сюжетом, специально составленным из всевозможного трэша... Блестящая авторская работа - основанная на верной и четкой оценке общего уровня знаний и мотивов любопытства усредненного жителя усредненной развитой страны.
В мозгах этого жителя - бессмысленная информационная помойка, а мотивы любопытства этого жителя - пощекотать нервы и увидеть что угодно, лишь бы это выглядело круто.
И этот житель получает то, к чему у него мотив. Автоматизированные системы переработки информации и комбинаторного генерирования из нее неограниченного количества нового бессмысленного контента по заданным признакам психологической кликабельности - работают непрерывно.
А теперь цитата из НФ-новеллы пана Станислава, предсказавшего в слегка метафорической форме то, что происходит сейчас. "Важно не количество сведений, а их плотность. Так же, как в случае с ураном. Рассеянный в глубине земли, уран безопасен. Условие взрыва - его выделение и концентрация. Так и в нашем случае. Информация в книгах или в головах людей может быть огромной, но она пассивна. Ее нужно сконцентрировать. За критической точкой произойдет цепная реакция... Перейдя критическую массу, она исчезнет, будто ее ветром сдуло. Это и есть Барьер Донды, граница прироста знаний. Конечно, их можно накапливать и дальше, но только в разреженном виде. Каждая цивилизация, которая до этого не додумается, попадает в ловушку: чем больше она соберет знаний, тем дальше откатится к невежеству. Знаешь, как близко мы подошли к этому порогу? Если поток информации будет нарастать такими же темпами, то через два года произойдет..."
О чем было напомнено в этом журнале весной 2023:
(2023-04-08*) 40 лет назад в книге "The Creative Computer. Machine intelligence and human knowledge" (в русском переводе "Компьютер творец") Donald Michie (Дональд Мичи), один из основателей искусственного интеллекта, как концепции, автор методики программирования многошаговых интеллектуальных игр (MENACE) основатель Turing Institute в Глазго, The Human Computer Learning Foundation, и т.д., и т.п. - уделил огромное внимание вопросу, который считал ключевым для ИИ. Это вопрос о внутренних моделях окружающего мира, о модели построения/корректировки таких моделей, и о рекурсивном применении такого моделирования в интеллектуальной системе. Без внутренней модели, связывающей возможные явления внешнего мира (или вообще предметной области) - нет интеллекта. Подобие интеллекта, которое можно создать на базе модели сетей Хопфилда путем формирования больших решающих таблиц, "обучаемых" на примерах - окажется имитацией, опасной для пользователя, поверившего в "разумность" такого подобия.
Такая таблица неизбежно окажется отравлена информационными ядами, которые всегда содержатся в пространстве больших данных.
...Такие дела...
---------------------------------
*) Ранее по теме в этом журнале:
2019-07-02 Все надежды человоща. Искусственный интеллект, как бог человощества.
https://alex-rozoff.livejournal.com/122271.html
2019-10-17 Закон Донды: коллапс знаний при сверхкритической плотности информационного мусора.
https://alex-rozoff.livejournal.com/165957.html
2023-04-08 Блеск и нищета ChatGPT: обучающие интернет-яды, ЛГБТКонсультант+, и гептасексуальные марсиане
https://alex-rozoff.livejournal.com/662352.html
**) 29 июня 2023 Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ
https://www.forbes.ru/mneniya/491738-nejrosetevoj-kollaps-pocemu-vskore-mozet-ostanovit-sa-razvitie-algoritmov-ii
Исходная статья в издании Корнелльского университета (Cornell University)
[Submitted on 27 May 2023 (v1), last revised 31 May 2023 (this version, v2)]
The Curse of Recursion: Training on Generated Data Makes Models Forget
Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson
https://arxiv.org/abs/2305.17493v2
***) 20.07.23 Исследование: ChatGPT действительно быстро «тупеет» [OpenAI ChatGPTOpenAI] Виктория Анисимова
https://4pda.to/2023/07/20/415915/issledovanie_chatgpt_dejstvitelno_bystro_tupeet/
****) Apr 5th 2023 It doesn’t take much to make machine-learning algorithms go awry. The rise of large-language models could make the problem worse
https://www.economist.com/science-and-technology/2023/04/05/it-doesnt-take-much-to-make-machine-learning-algorithms-go-awry
Статья в Forbes 29 июня 2023 Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ обсуждает выводы профессиональной статьи в издании Корнелльского университета: 27/31 мая 2023 Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать: "Что произойдет с GPT-n после того, как LLM внесут большую часть контента, доступного в Интернете? Мы обнаружили, что использование контента, сгенерированного моделью, в обучении вызывает необратимые дефекты в полученных моделях, когда исчезают хвосты исходного распределения контента"**.
Менее чем через 2 месяца после сообщения Корнелльского университета, появилось практически подтверждающая статья Стэнфордского университета: 20 июля 2023 Заявления пользователей о «деградации» популярного чат-бота взялись проверить учёные Стэнфордского университета. Они провели полноценное исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца.***.
Первый тревожный звоночек прозвенел еще в начале апреля: ...Алгоритмы, лежащие в основе современных систем искусственного интеллекта (ИИ), нуждаются в большом количестве данных для обучения. Большая часть этих данных поступает из открытой сети, что, к сожалению, делает сайт уязвимым для кибератак, известных как «отравление данных»... Заменив тысячу изображений яблок (всего 0,00025% данных) случайно выбранными изображениями, команда смогла заставить ИИ, обученный на «отравленных» данных, постоянно ошибочно маркировать изображения как содержащие яблоки. Замена того же количества изображений, которые были помечены как «небезопасные для работы», на безвредные изображения привела к тому, что искусственный интеллект пометил подобные безобидные изображения как опасные.****
Попробуем разобраться, как это происходит - тем более, что гипотеза от таком развитии событий уже выдвигалась в 2019-м*, и прослеживались аналогии с более ранним предсказанием нейроколлапса (Станислав Лем. "Профессор А. Донда". 1976 год).
Что было сказано в этом журнале в 2019-м:
(2019-07-02*)...Я скептически отношусь к современной генеральной линии в области прикладного моделирования интеллекта. Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м (т.н. концепция многослойного персептрона, или т.н. искусственных нейронных сетей). Уже через 10 лет стало понятно, что в исходной (вполне гениальной) идее были, все-таки, слишком урезаны функции нейрона и игнорировались функции инфохимической среды, поэтому сети на таких виртуальных модельных нейронах достигнут, в лучшем случае, интеллекта медузы.
Научное сообщество занялось было поисками продвинутой модели, но еще через 10 лет начался экстенсивный рост ресурсов компьютерной памяти и вычислительной мощности. Кто-то решил. что при таких ресурсах BigData, для ИИ будет вполне достаточно интеллекта медузы. Перспективные исследования были свернуты, и прикладная наука бросилась искать пути форсированной набивки электронной медузы - массивами данных. В итоге, мы имеем сейчас не эпоху Искусственного Интеллекта, а эпоху Искусственного Имбецила (очень удобно - не надо даже менять аббревиатуру ИИ). ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач (заведомо ограниченном, как доказали Мински и Паперт в 1969-м)..
Полбеды (точнее лишь крохотная доля беды), что нынешний "табличный" лже-ИИ лишен контура построения хоть какой-то модели мира, т.е. лишен моделирования смысла. Это означает лишь ограниченность областей его применения - узким сектором задач генерации чего-либо по совокупности шаблонов, проверенных и одобренных группой людей.
Настоящая большая беда, что нынешний "табличный" лже-ИИ сразу после появления на рынке стал применяться вопреки этой ограниченности. Проще говоря: лже-ИИ была присвоена роль универсального консультанта и ментора для всех и во всем. Это на несколько порядков усилило тенденцию к наполнению интернета не содержательными данными, а разнообразным трэшем, разбавляющим содержательные данные - ведь модель типа GPT генерируют контент на несколько порядков быстрее, чем человек.
Заметим:
Человек, даже намеренно создавая трэш - конструирует в нем хотя бы какой-то связный смысл. Так уж устроены люди.
LLM/GPT заведомо создает только бессмысленный и бессвязный контент, в котором остатки смысла и связности содержатся лишь в используемых обучающих фрагментах, созданных людьми. Так уж устроены большие таблицы, "обучаемые на примерах".
Соответственно, интернет наполняется бессмысленным машиногенным контентом, в котором доля осмысленного человеческого контента стремится к 0%. Таким образом, контент взятый из интернета, становится токсичной бессмыслицей (инфотоксином) при обучении следующей версии LLM/GPT. Отсюда - эффект "машинного отупения", подтвержденный Стэнфордским университетом***. Уровень бессмысленности информационной помойки, в которую превращается интернет - уже качественно превысил тот уровень бессмысленности, о котором говорилось 4 года назад:
(2019-10-17*)...Для меня символом сверхкритического трэша стал финский художественный фильм 2012 года "Железное небо", с сюжетом, специально составленным из всевозможного трэша... Блестящая авторская работа - основанная на верной и четкой оценке общего уровня знаний и мотивов любопытства усредненного жителя усредненной развитой страны.
В мозгах этого жителя - бессмысленная информационная помойка, а мотивы любопытства этого жителя - пощекотать нервы и увидеть что угодно, лишь бы это выглядело круто.
И этот житель получает то, к чему у него мотив. Автоматизированные системы переработки информации и комбинаторного генерирования из нее неограниченного количества нового бессмысленного контента по заданным признакам психологической кликабельности - работают непрерывно.
А теперь цитата из НФ-новеллы пана Станислава, предсказавшего в слегка метафорической форме то, что происходит сейчас. "Важно не количество сведений, а их плотность. Так же, как в случае с ураном. Рассеянный в глубине земли, уран безопасен. Условие взрыва - его выделение и концентрация. Так и в нашем случае. Информация в книгах или в головах людей может быть огромной, но она пассивна. Ее нужно сконцентрировать. За критической точкой произойдет цепная реакция... Перейдя критическую массу, она исчезнет, будто ее ветром сдуло. Это и есть Барьер Донды, граница прироста знаний. Конечно, их можно накапливать и дальше, но только в разреженном виде. Каждая цивилизация, которая до этого не додумается, попадает в ловушку: чем больше она соберет знаний, тем дальше откатится к невежеству. Знаешь, как близко мы подошли к этому порогу? Если поток информации будет нарастать такими же темпами, то через два года произойдет..."
О чем было напомнено в этом журнале весной 2023:
(2023-04-08*) 40 лет назад в книге "The Creative Computer. Machine intelligence and human knowledge" (в русском переводе "Компьютер творец") Donald Michie (Дональд Мичи), один из основателей искусственного интеллекта, как концепции, автор методики программирования многошаговых интеллектуальных игр (MENACE) основатель Turing Institute в Глазго, The Human Computer Learning Foundation, и т.д., и т.п. - уделил огромное внимание вопросу, который считал ключевым для ИИ. Это вопрос о внутренних моделях окружающего мира, о модели построения/корректировки таких моделей, и о рекурсивном применении такого моделирования в интеллектуальной системе. Без внутренней модели, связывающей возможные явления внешнего мира (или вообще предметной области) - нет интеллекта. Подобие интеллекта, которое можно создать на базе модели сетей Хопфилда путем формирования больших решающих таблиц, "обучаемых" на примерах - окажется имитацией, опасной для пользователя, поверившего в "разумность" такого подобия.
Такая таблица неизбежно окажется отравлена информационными ядами, которые всегда содержатся в пространстве больших данных.
...Такие дела...
---------------------------------
*) Ранее по теме в этом журнале:
2019-07-02 Все надежды человоща. Искусственный интеллект, как бог человощества.
https://alex-rozoff.livejournal.com/122271.html
2019-10-17 Закон Донды: коллапс знаний при сверхкритической плотности информационного мусора.
https://alex-rozoff.livejournal.com/165957.html
2023-04-08 Блеск и нищета ChatGPT: обучающие интернет-яды, ЛГБТКонсультант+, и гептасексуальные марсиане
https://alex-rozoff.livejournal.com/662352.html
**) 29 июня 2023 Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ
https://www.forbes.ru/mneniya/491738-nejrosetevoj-kollaps-pocemu-vskore-mozet-ostanovit-sa-razvitie-algoritmov-ii
Исходная статья в издании Корнелльского университета (Cornell University)
[Submitted on 27 May 2023 (v1), last revised 31 May 2023 (this version, v2)]
The Curse of Recursion: Training on Generated Data Makes Models Forget
Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Yarin Gal, Nicolas Papernot, Ross Anderson
https://arxiv.org/abs/2305.17493v2
***) 20.07.23 Исследование: ChatGPT действительно быстро «тупеет» [OpenAI ChatGPTOpenAI] Виктория Анисимова
https://4pda.to/2023/07/20/415915/issledovanie_chatgpt_dejstvitelno_bystro_tupeet/
****) Apr 5th 2023 It doesn’t take much to make machine-learning algorithms go awry. The rise of large-language models could make the problem worse
https://www.economist.com/science-and-technology/2023/04/05/it-doesnt-take-much-to-make-machine-learning-algorithms-go-awry