SoTA искусственного интеллекта принадлежит богатым, и это не случайно
Опять вспомним тезис Sutton (http://incompleteideas.net/IncIdeas/BitterLesson.html), что в AI главное -- это вычислительная мощь, а не хитрость алгоритмов. Этот тезис получил интересные теоретические и экспериментальные свидетельства в работах https://arxiv.org/abs/1909.12673 и https://arxiv.org/abs/2001.08361. Ошибка генерализации оказалась вполне гладкой степенной функцией от размеров набора данных, размера сетки (число гиперпараметров, но форма -- ширина и высота -- оказались неважными) и вычислительной мощности. Тот, у кого больше вычислительной мощности, может для данного набора данных использовать модель побольше -- и его сетка будет умнее.
Весь вопрос в том, в каких границах соблюдается эта функция. Её проверяли на разлёте вычислительной мощности в миллиард раз. Графики в работе по второй ссылке заканчиваются десятком петафлоп-дней (PF-day = 10^^15 × 24 × 3600 = 8.64 × 10^^19 floating point operations), и хорошо видно, что будет больше мощности -- можно использовать модели побольше, и для тех же самых данных (которых всегда мало) получить результаты лучше. Можно ожидать, что для самых разных видов нейронных сетей закономерности будут похожими: существенно больше вычислений -- можно брать модель побольше и получать существенно больше интеллект для тех же самых по объёму данных.
Кто побогаче (грубо: кто может себе позволить датацентры, желательно во множественном числе, цена одного расчёта сегодня идёт на миллионы долларов), тот выучит для себя AI поумнее с superhuman возможностями. Кто победнее и не имеет много денег -- выучит сеть-полудурка. Всё остальное -- бантики.
Так что организации с датацентрами (Google и DeepMind, OpenAI и Microsoft, Facebook, Baidu и очень немного других) могут похвастаться дьявольски интересными результатами. А организации победнее могут похвастаться "многообещающими идеями" и "научными прорывами".
В 2012 году входная цена в AI была пара тысяч долларов на пару видеокарт NVIDIA. Сегодня NVIDIA говорит, что делает не видеокарты, а датацентры (https://ailev.livejournal.com/1518306.html) -- и не случайно. Сегодня входная цена на тот же "мировой уровень" в AI -- пара датацентров той же NVIDIA.
Полученная формула по факту говорит, что SoTA в AI сегодня зависит от вложенных денег прежде всего. Если вы придумываете алгоритм, получающий какой-то результат не за 50 PF-days, а за 1, то более богатый коллега потратит те же 50 PF-days на ваш алгоритм -- и получит результат/интеллект лучше. Так что ваш будет приоритет по алгоритму и SoTA по эффективности (и вы сможете продать этот алгоритм коллеге), а SoTA по результату/интеллекту будет у вашего более богатого коллеги. Да, стоимость вычислений быстро падает, но SoTA по силе интеллекта будет оставаться у богатых разработчиков. А у разработчиков победней всегда будут алгоритмы получше, но выучиваться таки будут относительные AI-полудурки, далёкие от SoTA.
Множество не очень богатых компаний будет пытаться выгодно пристраивать к работе задёшево выученных AI-полудурков. Эти полудурки могут быть вполне superhuman, хотя и с узкими способностям. И их хватит для очень и очень многих интересных дел! Но это всё-таки будут AI-полудурки. Впрочем, некоторые разбогатеют, и выучат себе интеллектов поумнее. И перейдут в другую лигу.
Небольшое число богатых компаний выгодно пристроят к работе AI с широкими способностями. И за умных им заплатят больше. Кто богат, станет ещё богаче.
Увиливание этих богатых компаний от неминуемого госрегулирования будет отдельной историей, но мы тут не про это. Мы тут про формулу, увязывающую выучиваемый уровень интеллекта и объем вычислений, то есть уровень интеллекта и деньги, за которые его можно купить.
Но ведь вы об этом всём и так догадывались, даже без формулы?
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218458850316602
Весь вопрос в том, в каких границах соблюдается эта функция. Её проверяли на разлёте вычислительной мощности в миллиард раз. Графики в работе по второй ссылке заканчиваются десятком петафлоп-дней (PF-day = 10^^15 × 24 × 3600 = 8.64 × 10^^19 floating point operations), и хорошо видно, что будет больше мощности -- можно использовать модели побольше, и для тех же самых данных (которых всегда мало) получить результаты лучше. Можно ожидать, что для самых разных видов нейронных сетей закономерности будут похожими: существенно больше вычислений -- можно брать модель побольше и получать существенно больше интеллект для тех же самых по объёму данных.
Кто побогаче (грубо: кто может себе позволить датацентры, желательно во множественном числе, цена одного расчёта сегодня идёт на миллионы долларов), тот выучит для себя AI поумнее с superhuman возможностями. Кто победнее и не имеет много денег -- выучит сеть-полудурка. Всё остальное -- бантики.
Так что организации с датацентрами (Google и DeepMind, OpenAI и Microsoft, Facebook, Baidu и очень немного других) могут похвастаться дьявольски интересными результатами. А организации победнее могут похвастаться "многообещающими идеями" и "научными прорывами".
В 2012 году входная цена в AI была пара тысяч долларов на пару видеокарт NVIDIA. Сегодня NVIDIA говорит, что делает не видеокарты, а датацентры (https://ailev.livejournal.com/1518306.html) -- и не случайно. Сегодня входная цена на тот же "мировой уровень" в AI -- пара датацентров той же NVIDIA.
Полученная формула по факту говорит, что SoTA в AI сегодня зависит от вложенных денег прежде всего. Если вы придумываете алгоритм, получающий какой-то результат не за 50 PF-days, а за 1, то более богатый коллега потратит те же 50 PF-days на ваш алгоритм -- и получит результат/интеллект лучше. Так что ваш будет приоритет по алгоритму и SoTA по эффективности (и вы сможете продать этот алгоритм коллеге), а SoTA по результату/интеллекту будет у вашего более богатого коллеги. Да, стоимость вычислений быстро падает, но SoTA по силе интеллекта будет оставаться у богатых разработчиков. А у разработчиков победней всегда будут алгоритмы получше, но выучиваться таки будут относительные AI-полудурки, далёкие от SoTA.
Множество не очень богатых компаний будет пытаться выгодно пристраивать к работе задёшево выученных AI-полудурков. Эти полудурки могут быть вполне superhuman, хотя и с узкими способностям. И их хватит для очень и очень многих интересных дел! Но это всё-таки будут AI-полудурки. Впрочем, некоторые разбогатеют, и выучат себе интеллектов поумнее. И перейдут в другую лигу.
Небольшое число богатых компаний выгодно пристроят к работе AI с широкими способностями. И за умных им заплатят больше. Кто богат, станет ещё богаче.
Увиливание этих богатых компаний от неминуемого госрегулирования будет отдельной историей, но мы тут не про это. Мы тут про формулу, увязывающую выучиваемый уровень интеллекта и объем вычислений, то есть уровень интеллекта и деньги, за которые его можно купить.
Но ведь вы об этом всём и так догадывались, даже без формулы?
UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218458850316602