Размышления по 5-ой экспоненте ИИ
В рамках цикла «8 экспонент искусственного интеллекта» экспонента №5 посвящалась объёму исследований в области ИИ. Эта экспонента подразумевала положительную обратную связь. Чем более продвинутый ИИ доступен ученым - тем больше он им помогает, тем быстрее идёт прогресс в области ИИ. Чем быстрее идёт прогресс в области ИИ - тем более продвинутый ИИ становится доступным ученым. И так по новой.
Кульминацией этого процесса, этаким «святым Граалем» ИИ-экспонент должно было стать создание ИИ, который полностью заменил бы собой ученых. ИИ, который проводил бы исследования автономно, самостоятельно. Который можно было бы без труда масштабировать до каких угодно величин. Не надо ждать 7 лет, пока очередной перспективный ученый будет грызть гранит науки и писать диссертации. Поставил 1000 серверных стоек - и, бах, у тебя моментально появились пара-тройка новых Стэнфордов и «ОпенАИ».
Эти рассуждения неявно предполагают, что «бутылочным горлышком» нынешних исследований ИИ является количество интеллекта, которое мы бросаем на эту задачу. Число ученых и качество их ИИ-инструментов. В частности, талантливых ученых очень мало, блестящих - вообще по пальцам можно пересчитать. И взять новых неоткуда. Сценарий автоматизации исследований предполагает, что у нас получится заменить человеческое «качество» машинным «количеством» - и качество потом бы подтянулось.
Однако загвоздка в том, что «бутылочное горлышко» в нынешних исследованиях - скорее не количество интеллекта. А объем доступных вычислительных мощностей.
Дело в том, что первые две экспоненты в рамках моего цикла требуют постоянного роста вычислительных потребностей ИИ-моделей. Чем продвинутее ИИ - тем больше вычислений он требует. Это означает, что объем вычислений, необходимый для проведения исследований в области ИИ, тоже должен расти экспоненциально.
Уже сейчас складывается ситуация, когда традиционная академическая сфера не в состоянии создавать передовые ИИ-модели. Потому что это требует слишком большого количества вычислительных ресурсов. Которых у них банально нет. Бюрократы от государства и академии совсем не торопятся финансировать институты, когда слышат, что передовой вычислительный кластер стоит сотни миллионов, и даже миллиарды долларов. Страны готовы выделять такие деньги на один, от силы два кластера - на использование которого потом претендуют и физики, и климатологи, и биологи, и много кто еще.
Национальный суперкомпьютерный центр в городе Уси, Китай
Богатенький биг-тех, еще не забывший, что такое конкуренция, миллиарды пока вкладывает. Но это не значит, что его R&D-лаборатории не испытывают недостатка в вычислительных ресурсах. Корпоративные исследователи тоже находятся под гнетом дефицита вычислительных мощностей. Пускай не настолько жестким, как в случае академии - но ни о какой свободе экспериментирования с передовыми моделями не может идти и речи.
Ситуация не нова и имеет ряд параллелей с так называемыми ”mega science”-проектами в физике. Физики тоже упёрлись в то, что для дальнейшего прогресса требуется всё более и более дорогое исследовательское оборудование. Так, создание Большого Адронного Коллайдера обошлось в 10 млрд. долл, стоимость Международного Экспериментального Термоядерного Реактора превысит 22 млрд. долл. Огромная стоимость строительства приводит к тому, что установки создаются в единственном экземпляре на всю планету.
И даже если в физике элементарных частиц или в ядерном синтезе у нас в одночасье появится сотня новых гениев, новых Эйнштейнов и Ньютонов, но финансирование науки останется на том же уровне - далеко не факт, что прогресс ускорится в те же 100 раз. Все идеи гениев придётся проверять на экспериментальных установках. А этих установок больше не станет. Увы, время открытий «голыми руками», вроде бросания шаров с Пизанской башни, давным-давно прошло.
Теперь возвращаемся к нашему машинному обучению. Если ограничивающим ресурсом являются вычисления, а не количество интеллекта - то каким образом можно ускорить прогресс в ИИ? Единственный путь - это повышать качество. Качество исследовательских идей, их перспективность, а также качество организации экспериментов.
И это требование ставит под сомнение тезис о том, что можно заменить человеческое «качество» масштабированием серверных стоек. Что сотня посредственных ИИ-ученых, работающих 24/7, не отвлекаясь ни на секунду, достигнут большего прогресса, чем сотня человеческих исследователей. Ведь потребуется распылить скудные вычислительные ресурсы между ИИ-учеными и их человеческими коллегами. В итоге на масштабные, действительно передовые эксперименты ресурсов не хватит никому. И часть ресурсов будет потрачена менее эффективно, на эксперименты посредственных ИИ-ученых.
Это означает, что, пока у нас имеется дефицит вычислительных мощностей - а он в обозримом будущем никуда не денется - нерационально давать их автономным ИИ-ученым. До тех пор, пока способности этих ученых не перерастут способности их человеческих коллег. То есть попытка создать «качество» за счет «количества» выглядит необоснованной.
Следующий пункт - насколько продуктивной с точки зрения качества исследований будет коллаборация между человеческим ученым и ИИ-инструментами. Этап, который в нашем нарративе предшествует этапу автономных ИИ-ученых. Здесь, как мне кажется, пользы может быть гораздо больше.
С момента написания цикла темп создания новых инструментов, помогающих ученым, только увеличился. Новые инструменты самостоятельно ищут существующую литературу по теме, обобщают ее, занимаются генерацией новых идей, пишут программный код, обрабатывают результаты экспериментов, рисуют диаграммы и делают еще множество дел.
В совокупности такие ИИ-помощники могут поднять производительность труда ученого в разы. Разумеется, это никак не устраняет главный камень преткновения - дефицит вычислительных мощностей - но почти все остальные моменты, замедляющие исследования, они в состоянии преодолеть. Особенно ярко их эффект будет виден в прикладных разработках - без которых ИИ-революция тоже невозможна.
Наконец, остаётся самый главный вопрос: смогут ли ученые, с такой ограниченной помощью от ИИ, довести технологию до человеческого уровня? До уровня, когда станет возможна «передача эстафетной палочки»: когда решения автономного ИИ-исследователя будут ничуть не хуже, чем решения человека? Станет ли когда-нибудь возможным «святой Грааль» в виде тысяч серверных стоек, автономно улучшающих технологию ИИ?
Я склонен оптимистично смотреть на такую перспективу. Уже сегодняшний уровень ИИ мало в чем уступает рядовому человеку (хотя от исследователя требуется больше, чем от рядового человека). Темп прогресса технологии - целиком обеспечиваемый учеными-людьми и скудными ресурсами, имеющимися в их распоряжении - по-прежнему очень быстр.
Дефицит вычислительных ресурсов еще долго не позволит запустить автономные ИИ-исследования. И будет в целом ограничивать прогресс в ИИ. Но даже с учетом этих ограничений революционные изменения в науке начнутся гораздо раньше, чем ожидает большинство.
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!