О проблемах с развитием ИИ
Подъехал первый серьезный тревожный звоночек о том, что потолок нынешней парадигмы создания ИИ уже очень близко. На предыдущие, несерьезные, от «вечных» ИИ-скептиков, можно было не обращать внимания. Но свежая статья в ”The Information” описывает обстановку внутри лидера индустрии: ”OpenAI”.
Статья традиционно за глухим пэйволлом. Поэтому обрисую самые важные моменты:
1. Готовящаяся модель следующего поколения, под кодовым названием ”Orion”, превзошла по своим способностям нынешнюю GPT-4. Однако скачок в способностях оказался гораздо меньше, чем при переходе от GPT-3 к GPT-4. Судя по всему, это стало неприятным сюрпризом для команды.
2. Некоторые исследователи, работающие над моделью, предполагают, что ”Orion” НЕ даёт надежных улучшений по сравнению с GPT-4 в отдельных областях. Улучшения наблюдаются в языковых задачах. Но не в программировании - критически важной сфере для практического внедрения языковых моделей.
3. Стоимость работы “Orion” выше, чем GPT-4 - что явно указывает на то, что размеры “Orion” больше (см. ИИ-экспоненту №1).
4. Дефицит высококачественных данных для обучения моделей потребовал создания в ”OpenAI” отдельной команды для работы над этой проблемой.
Помимо этих инсайдов, ”The Information” ссылается на публичное выступление двух акул венчурного бизнеса, Бена Хоровица и Марка Андриссена, имеющих долю в ”OpenAI”. Акулы сетовали на то, что прогресс в интеллекте языковых моделей затормозился, несмотря на всё увеличивающиеся инвестиции в вычислительное оборудование.
Любопытно, что оценки лаборатории "Epoch AI", сделанные в 2022, указывали на "исчерпание" интернет-данных как раз в 2024. Cовсем недавно лаборатория переиграла свой прогноз в более оптимистичную сторону - но первоначальная оценка могла быть не такой уж и неправильной
Из всего этого вырисовывается скептическая картина. Увеличившись в размере до триллионов параметров и «поглотив» все доступные веб-страницы, модели исчерпали весь потенциал совершенствования. Сорваны не только «низковисящие плоды» - но и «средневисящие» тоже. Немного плодов наверняка осталось на самой верхушке - но тянуться к ним всё сложнее. И постепенно закрадывается мысль, что пора искать другое дерево. Но где искать - пока непонятно.
Скептическая картина пока непопулярна. Главы ИИ-стартапов продолжают излучать неизменный оптимизм. Тот же Сэм Альтман обещает, что общий ИИ - практически уже рядом, за поворотом. Надо потерпеть всего несколько лет. Дарио Амодеи утверждает, что с каждым месяцем его уверенность в парадигме масштабирования - тому самому дереву, с которого мы собирали урожай крайние 4 года - только растёт.
Но Альтману веры, увы, нет. Альтман умеет очень талантливо продавать воздух - а ИИ-тема нынче очень денежна. На кону стоят миллиарды долларов. Для Альтмана достаточно, чтобы работала совсем другая парадигма: «всем всё обещай».
К Дарио Амодеи вера есть. Более того, он двигает вперед исследования, а не только раздает обещания. Но объективная реальность состоит в том, что ”OpenAI”, в силу более увесистых бюджетов, должна находиться ближе к потолку возможностей языковых моделей, нежели ”Аnthropic” Дарио Амодеи. Кто знает, не поумерит ли Амодеи свой оптимизм, когда он догонит по потраченным суммам нынешнюю ”OpenAI”?
Впрочем, хоронить ИИ-индустрию по первому звоночку преждевременно. Пока мы достоверно не знаем, насколько проблемы ”OpenAI” будут повторяться в других ИИ-лабораториях. Оптимисты могут указать на то, что стартап Сэма Альтмана растерял почти всех «звездных» исследователей и сейчас представляет собой лишь тень былой «команды мечты». В своё время Альтман хвастался «плотностью таланта» в ”OpenAI” - и эта плотность дала осязаемые результаты. Сейчас хвастаться уже нечем…
Плотность таланта важна для отдельно взятой компании. Но для прогресса в целом достаточно и «общей массы». Главное, чтобы кто-то из этих талантов, где бы он ни работал, всё-таки обнаружил то самое новое «урожайное дерево», новую парадигму, которая подхватит эстафетную палочку у выдыхающейся парадигмы «бери модель побольше и вливай в нее весь интернет».
Львиная доля многомиллиардных инвестиций в ИИ-индустрии сейчас идёт не на поиски новых деревьев, а на эксплуатацию этой избитой концепции. Зачастую - на повторение того, что давным-давно пройдено десятками других команд. Индустрия копает вглубь, а не вширь. Но как только руда в глубине начнет беднеть - волей-неволей индустрии придётся переключаться на более новаторские направления.
И вполне вероятно, это переключение не обойдется без глубокого разочарования, иссякания потоков легких венчурных денег, причитаний о новой ИИ-зиме и прочих кризисных явлений.
Но пока у нас еще есть небольшой запас для роста. Модель «Orion» ”OpenAI” планирует выпустить в начале 2025. А дальше… дальше преобладающей, однако слишком уж незатейливой парадигме масштабирования придётся уступать место чему-то более интересному.
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!