Куда уехал цирк: этот искусственный интеллект (LLM) сломался, несите новый (KAN).
Всемирное цирковое шоу вокруг AI/ИИ типа LLM/БЯМ (больших языковых моделей) явно затянулось. Режиссеры, тасующие колоду из двух карт (Альтман и Суцкевер) под песни дуэта Маск - Гейтс с подтанцовкой типа "писем обеспокоенной общественности" по сценарию х/ф "Терминатор", похоже, исчерпали терпение публики.
...Исчерпали предсказуемо (напомню сказанное в этом журнале 5 лет назад) я скептически отношусь к современной генеральной линии в области прикладного моделирования интеллекта. Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м (т.н. концепция многослойного персептрона, или т.н. искусственных нейронных сетей). Уже через 10 лет стало понятно, что в исходной (вполне гениальной) идее были, все-таки, слишком урезаны функции нейрона и игнорировались функции инфохимической среды, поэтому сети на таких виртуальных модельных нейронах достигнут, в лучшем случае, интеллекта медузы. Научное сообщество занялось было поисками продвинутой модели, но еще через 10 лет начался экстенсивный рост ресурсов компьютерной памяти и вычислительной мощности. Кто-то решил. что при таких ресурсах BigData, для ИИ будет вполне достаточно интеллекта медузы. Перспективные исследования были свернуты, и прикладная наука бросилась искать пути форсированной набивки электронной медузы - массивами данных. В итоге, мы имеем сейчас не эпоху Искусственного Интеллекта, а эпоху Искусственного Имбецила (очень удобно - не надо даже менять аббревиатуру ИИ). ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач (заведомо ограниченном, как доказали Мински и Паперт в 1969-м).*
...Так вот: цирк уехал. "Ведущий специалист в области искусственного интеллекта Ян Лекун призвал молодых разработчиков не зацикливаться на больших языковых моделях (БЯМ), а вместо этого сосредоточиться на создании «ИИ следующего поколения»."**. Далее - интрига
Лекун "написал в X: «Если вы студент, заинтересованный в создании систем искусственного интеллекта следующего поколения, не работайте над БЯМ». Эти высказывания быстро вызвали шквал вопросов и оживили дискуссию об ограничениях современных больших языковых моделей. Столкнувшись с непониманием, Лекун частично пояснил свою позицию. Он отметил, что сам работает над такими системами и призывает других присоединиться к нему.
Не имея конкретных примеров, многие пользователи X задались вопросами: что подразумевается под «ИИ следующего поколения» и какая альтернатива может быть предложена большим языковым моделям. Разработчики, специалисты по данным и эксперты по искусственному интеллекту предложили множество вариантов: от моделей на основе энергии до сетей Колмогорова-Арнольда (KAN).
Являясь сторонником целенаправленного ИИ и систем с открытым исходным кодом, Лекун также заявил Financial Times, что у больших языковых моделей ограниченное понимание логики, и они не достигнут человеческого уровня интеллекта.
По его словам, они «не понимают физический мир, не обладают постоянной памятью, не могут рассуждать в разумном смысле этого слова и не могут планировать иерархически». Многие разделяют скептицизм Лекуна относительно ограничений больших языковых моделей. Участники обсуждения критиковали «излишнюю зацикленность» отрасли на них, называя их «тупиком на пути к настоящему прогрессу»." (там же)
Тут-то и выяснилось "Куда ушли слоны, в какие города погонщики ведут учёного верблюда"
В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. В 2024 г. исследователи представили альтернативу MLP - новую архитектуру нейронной сети, получившую название Kolmogorov-Arnold Networks (KAN) на основании трудов Андрея Колмогорова и Владимира Арнольда. Это может значительно повлиять на развитие технологий искусственного интеллекта (ИИ) в ближайшем будущем.***
"Своих усталых змей туда факир несёт"
Где была научная этика авторов этой очередной цифровой Wunderwaffe, когда они присобачивали к своему цирку имена двух выдающихся математиков (которых уже нет среди живых)? - вопрос риторический. Ничего личного - просто бизнес.
"Там музыка гремит сегодня, как вчера
И вновь заполнен зал, и зрители всё те же
Кружится карусель, горят прожектора
И чудеса вершатся на манеже"
....Такие дела...
--------------------------------
*) 2019-07-02 Все надежды человоща. Искусственный интеллект, как бог человощества.
https://alex-rozoff.livejournal.com/122271.html
См. также
2023-04-07 Продолжаем тему ИИ: создание модели попугая со все большим запасом типовых фраз
https://alex-rozoff.livejournal.com/662253.html
2023-04-08 Блеск и нищета ChatGPT: обучающие интернет-яды, ЛГБТКонсультант+, и гептасексуальные марсиане
https://alex-rozoff.livejournal.com/662352.html
**) May 22, 2024 AI pioneer LeCun to next-gen AI builders: ‘Don’t focus on LLMs’
https://venturebeat.com/ai/ai-pioneer-lecun-to-next-gen-ai-builders-dont-focus-on-llms/
24 мая 2024 Ян Лекун призвал разработчиков не тратить время на БЯМ
https://hightech.plus/2024/05/24/yan-lekun-prizval-razrabotchikov-ne-tratit-vremya-na-byam
https://ru.wikipedia.org/wiki/Лекун,_Ян
***) 1 мая Новый убийца нейросетей? Сеть Колмогорова-Арнольда (KANs)
https://vc.ru/ml/1153508-novyi-ubiica-neirosetei-set-kolmogorova-arnolda-kans
02 мая 2024 В США создали принципиально новую архитектуру нейросетей и назвали ее в честь советских академиков
https://www.cnews.ru/news/top/2024-05-02_amerikanskie_uchenye_sozdali
Заставка: Песня "Куда уехал цирк?" из к/ф "Тайна, известная всем". 1981г.
https://ru.wikipedia.org/wiki/Куда_уехал_цирк
Click to view...Исчерпали предсказуемо (напомню сказанное в этом журнале 5 лет назад) я скептически отношусь к современной генеральной линии в области прикладного моделирования интеллекта. Методически такой ИИ не смог подняться выше исходной идеи Фрэнка Розенблатта, показанной в 1957-м - 1960-м (т.н. концепция многослойного персептрона, или т.н. искусственных нейронных сетей). Уже через 10 лет стало понятно, что в исходной (вполне гениальной) идее были, все-таки, слишком урезаны функции нейрона и игнорировались функции инфохимической среды, поэтому сети на таких виртуальных модельных нейронах достигнут, в лучшем случае, интеллекта медузы. Научное сообщество занялось было поисками продвинутой модели, но еще через 10 лет начался экстенсивный рост ресурсов компьютерной памяти и вычислительной мощности. Кто-то решил. что при таких ресурсах BigData, для ИИ будет вполне достаточно интеллекта медузы. Перспективные исследования были свернуты, и прикладная наука бросилась искать пути форсированной набивки электронной медузы - массивами данных. В итоге, мы имеем сейчас не эпоху Искусственного Интеллекта, а эпоху Искусственного Имбецила (очень удобно - не надо даже менять аббревиатуру ИИ). ИИ, как сборщик и примитивный анализатор "больших данных", конечно, полезен - но только на очень ограниченном круге задач (заведомо ограниченном, как доказали Мински и Паперт в 1969-м).*
...Так вот: цирк уехал. "Ведущий специалист в области искусственного интеллекта Ян Лекун призвал молодых разработчиков не зацикливаться на больших языковых моделях (БЯМ), а вместо этого сосредоточиться на создании «ИИ следующего поколения»."**. Далее - интрига
Лекун "написал в X: «Если вы студент, заинтересованный в создании систем искусственного интеллекта следующего поколения, не работайте над БЯМ». Эти высказывания быстро вызвали шквал вопросов и оживили дискуссию об ограничениях современных больших языковых моделей. Столкнувшись с непониманием, Лекун частично пояснил свою позицию. Он отметил, что сам работает над такими системами и призывает других присоединиться к нему.
Не имея конкретных примеров, многие пользователи X задались вопросами: что подразумевается под «ИИ следующего поколения» и какая альтернатива может быть предложена большим языковым моделям. Разработчики, специалисты по данным и эксперты по искусственному интеллекту предложили множество вариантов: от моделей на основе энергии до сетей Колмогорова-Арнольда (KAN).
Являясь сторонником целенаправленного ИИ и систем с открытым исходным кодом, Лекун также заявил Financial Times, что у больших языковых моделей ограниченное понимание логики, и они не достигнут человеческого уровня интеллекта.
По его словам, они «не понимают физический мир, не обладают постоянной памятью, не могут рассуждать в разумном смысле этого слова и не могут планировать иерархически». Многие разделяют скептицизм Лекуна относительно ограничений больших языковых моделей. Участники обсуждения критиковали «излишнюю зацикленность» отрасли на них, называя их «тупиком на пути к настоящему прогрессу»." (там же)
Тут-то и выяснилось "Куда ушли слоны, в какие города погонщики ведут учёного верблюда"
В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. В 2024 г. исследователи представили альтернативу MLP - новую архитектуру нейронной сети, получившую название Kolmogorov-Arnold Networks (KAN) на основании трудов Андрея Колмогорова и Владимира Арнольда. Это может значительно повлиять на развитие технологий искусственного интеллекта (ИИ) в ближайшем будущем.***
"Своих усталых змей туда факир несёт"
Где была научная этика авторов этой очередной цифровой Wunderwaffe, когда они присобачивали к своему цирку имена двух выдающихся математиков (которых уже нет среди живых)? - вопрос риторический. Ничего личного - просто бизнес.
"Там музыка гремит сегодня, как вчера
И вновь заполнен зал, и зрители всё те же
Кружится карусель, горят прожектора
И чудеса вершатся на манеже"
....Такие дела...
--------------------------------
*) 2019-07-02 Все надежды человоща. Искусственный интеллект, как бог человощества.
https://alex-rozoff.livejournal.com/122271.html
См. также
2023-04-07 Продолжаем тему ИИ: создание модели попугая со все большим запасом типовых фраз
https://alex-rozoff.livejournal.com/662253.html
2023-04-08 Блеск и нищета ChatGPT: обучающие интернет-яды, ЛГБТКонсультант+, и гептасексуальные марсиане
https://alex-rozoff.livejournal.com/662352.html
**) May 22, 2024 AI pioneer LeCun to next-gen AI builders: ‘Don’t focus on LLMs’
https://venturebeat.com/ai/ai-pioneer-lecun-to-next-gen-ai-builders-dont-focus-on-llms/
24 мая 2024 Ян Лекун призвал разработчиков не тратить время на БЯМ
https://hightech.plus/2024/05/24/yan-lekun-prizval-razrabotchikov-ne-tratit-vremya-na-byam
https://ru.wikipedia.org/wiki/Лекун,_Ян
***) 1 мая Новый убийца нейросетей? Сеть Колмогорова-Арнольда (KANs)
https://vc.ru/ml/1153508-novyi-ubiica-neirosetei-set-kolmogorova-arnolda-kans
02 мая 2024 В США создали принципиально новую архитектуру нейросетей и назвали ее в честь советских академиков
https://www.cnews.ru/news/top/2024-05-02_amerikanskie_uchenye_sozdali
Заставка: Песня "Куда уехал цирк?" из к/ф "Тайна, известная всем". 1981г.
https://ru.wikipedia.org/wiki/Куда_уехал_цирк