Искусственный интеллект: состояние 2024

[plakhov]

Многие мои френды, люди науки, периодически в своих постах разоблачают хайп вокруг AI.

Вчера вышла очередная сетка от OpenAI, GPT-4o. Если вы ещё не видели, посмотрите ролики с этой странички, оно того стоит. Без видео сложно объяснить, в чём ключевое достижение и чем хороша эта самая "мультимодальность

Comments

[combinator30]

Технологическая сингулярность наступит, когда очередной условный GPTN научится улучшать себя сам. Думаю, до этого момента осталось максимум лет 5.

[plakhov]

А что это должно значить, если более подробно? Я как-то вот перестал понимать. Так-то я могу представить себе улучшение GPT-N самим собой прямо сейчас: собираем датасет для дообучения самого себя, покупая доп.качество за компьют (через chain of thought или через выбор лучшего варианта из N сгенерированных), а потом дистиллируем его в себя же. Это будет растить качество с какой-то скоростью.

[combinator30]

Ну в идеологии той книги, которую вы, вроде, собирались писать с Алексеем (а он, вроде, её даже дописал), учиться решать задачи, минимизируя необходимые для этого ресурсы (объем вычислений, память). Интеллект, это способность давать точный прогноз, затрачивая для этого минимальные ресурсы. Что-то вроде обобщённого Q*. Тот же AlphaZero за счёт подобной идеи без всякого использования знаний, накопленных человечеством, легко обошёл уровень его лучших представителей буквально за несколько дней самообучения.

[urease]

Не забывайте что AI подходит к пределу энергетических и вычислительных возможностей.

[combinator30]

Именно поэтому оптимизация будет на первом месте.

[urease]

Оптимизация - это конец

!

[de_nada]

Вдруг вспомнилось чьё-то:

"Общая проблема оптимизации состоит в следующем.
Оптимизировать будет не Абсолютный Дух, а бесхвостая обезьяна - по своему вкусу и разумению.
Поэтому итоговый результат успешной оптимизации - это, как правило, полная нежизнеспособность оптимизированного организма..Противоядием, в данном случае, является ограниченный масштаб оптимизации.
Ограничение масштаба - ограничение ущерба." (с)

С уважением.

RE: !

[redmassacre]

что ж вы так цитируете о дружественных нам индусьих мордах, недружественно как-то получилось..

RE: !

[p2004r]

Функция оптимальности прекрасно вычисляется средой.

[plakhov]

Это было 20 лет назад все же, или даже больше. Я уже совсем не уверен, что регуляризация размером модели это панацея. Что для gradient boosting, что для LLM-ок она, скорее, не работает, чем работает. Что довольно удивительно, если задуматься, но я как-то это не понимал, не понимал, а потом привык.

[akor168]

Полезно в этом месте вспомнить причту про Ахиллеса и черепаху. Процесс улучшения может быть бесконечным но если на каждом итерационном шаге прогресс в два раза меньше чем на предыдущем в итоге мы получим всего лишь систему которая в два раза лучше исходной. Это геометрическая прогрессия. Но даже если взять систему которая улучшается на этапе N на 1/N от начального и хотя здесь мы имеем уже расходящийся ряд и в теории возможно неограниченное улучшение но на практике по этой схеме за 10^100 итераций мы улучшимся всего в 100 раз (сумма гармонического ряда есть логарифм), и с практической точки зрения более менее очевидно суммировать гармонический ряд далее весьма небольшого N нет смысла

[freedom_of_sea]

вопрос на каком уровне находится лимитирующая ассимптота

[redmassacre]

мне почему-то казалось, что признак ухода в сингулярность это на выходе - взлет по экспоненте (= в т.ч _уменьшение_ предельных издержек)

а тут про Ахиллеса-Черепаху и что опять листричество закончилось, т.е. кина мол не будет

[akor168]

Даже когда кривая обучаемости и может идти в теории по экспоненте, то с учетом необходимы энергетических ресурсов в реальности может не быть даже медленного роста. Грубо говоря, можно бесконечно улучшать интеллектуальные характеристики агента. Только для этого нужно например бесконечное же увеличение ресурсов причем вторая бесконечность растет быстрее. Грубо говоря на каждой итерации N система умнеет в два раза, но на это ей требуется 2^N ресурсов. Технически за 30 итераций вы можете получить систему, которая в 1 000 000 000 раз умнее только все ресурсы вселенной кончатся раньше.

[redmassacre]

это какая-то неправильная сингулярность (как будто она решила заработать все биткойны)

нутром чую что демоническое максвела, а выразить не могу

получается фокус с логарифмической функцией, а обещали параболу)

[akor168]

Обещали вообще говоря гиперболу но вся беда в том что монотонных функций на самом деле очень много и почему технологический прогресс должен описываться именно данной, а не какой-то другой, непонятно. Там может быть и парабола и экспонента и сублинейная и логарифмическая и даже просто с горизонтальной асимптотой(то есть бесконечного роста гарантированно нет, а есть конкретный предел). Вот эта вера именно в гиперболу меня всегда поражала.