AI Ludens
Ну вот, AI уже побеждает в киберспорте: в простейшем варианте 1v1 Dota 2 по стандартным правилам соревнований разгромил сильнейших игроков мира -- https://blog.openai.com/dota-2/. Как? Как обычно: научившись играть, подолгу мастур..., тьфу, играя сам с собой. Никаких имитаций поведения людей, никаких "деревьев поиска" и прочих алгоритмических трюков (https://youtu.be/wpa5wyutpGc):
UPDATE: описание деталей того, что происходило -- https://blog.openai.com/more-on-dota-2/
Следующие планы? В Dota 2 играют командами по пять человек. Поэтому следующий план OpenAI -- сделать команду ботов, чтобы они не только умели побеждать сами по себе, но и умели налаживать сотрудничество между собой и противостоять командной игре других.
Это только начало всей истории, хотя очень и очень бодрое начало. А вот ещё одно начало, от DeepMind и Blizzard: выложен интерфейс для тренировки ботов в StarCraft II, https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ (StarCraft первой версии давно уже используется для тренировки AI, так что речь идёт о серьёзном шаге вперёд). Вот характеристика сложности этой игры: StarCraft’s action space presents a challenge with a choice of more than 300 basic actions that can be taken. Contrast this with Atari games, which only have about 10 (e.g. up, down, left, right etc). On top of this, actions in StarCraft are hierarchical, can be modified and augmented, with many of them requiring a point on the screen. Even assuming a small screen size of 84x84 there are roughly 100 million possible actions available.
Проще всего искусственному интеллекту сегодня прославиться, выигрывая какие-нибудь официальные соревнования с людьми -- то есть играя в игры. Игры ещё и прибыльное дело, ставки чемпионов мира в любых видах спорта (включая киберспорт) идут на миллионы долларов. Го и покер тут были просто разминкой. Настоящее веселье только-только начинается. И если кто-то считал, что роботы будут работать, а человеки из мяса будут лучшими по развлечениям в компьютерных играх, то нет -- роботы и в компьютерные игры будут играть получше людей. В принципе, и на олимпийском марафоне легко победит автомобиль без водителя, если не разводить на этих соревнованиях ксенофобию. И кому-нибудь нужно будет переписывать Homo Ludens (https://en.wikipedia.org/wiki/Homo_Ludens), добавляя материал по AI Ludens и меняя название на Omnes Ludens.
Почему игры так важны? Они позволяют сегодня преодолеть ограничение на недостаток данных и медленность времени: мир игры порождается компьютером, а время там течёт тоже со скоростью вычислений, а не как в реальности. То есть сажаем бота играть самого с собой -- и у него будет столько данных, сколько пожелаешь, и всё это обучение может происходить быстро. Тем самым можно улучшать алгоритмы искусственного интеллекта, не завися от медленности получения огромных объёмов данных в реальном мире. А когда нужно будет решить задачу реального мира, эти алгоритмы будут уже как-то освоены, их поведение будет известно, альтернативы опробованы, поэтому можно будет уверенней работать уже с реальным, а не игровым миром.
Прогресс в искусственном интеллекте в итоге сегодня определяется по большому счёту производительностью компьютеров. У кого железные мозги круче, тот и имеет шанс оказаться умней -- попробовать больше алгоритмических идей, или даже просто выучить свою нейронную сетку получше. И проблема в том, что задачи deep learning плохо распределяются по разным компьютерам, а один компьютер трудно сделать супер-пупер-мощным. Но и тут всё быстро.
IBM научилась обучать нейронную сетку на Caffe с 95% эффективностью по масштабированию, продемонстрировав результаты на кластере из 64 систем IBM Power с 256 NVIDIA P100 GPU: https://www.ibm.com/blogs/research/2017/08/distributed-deep-learning/. Размер компьютера имеет значение: when we scaled to a large cluster with 100s of NVIDAI GPUs, it yielded record image recognition accuracy of 33.8% on 7.5M images from the ImageNet-22k dataset vs the previous best published result of 29.8% by Microsoft. A 4% increase in accuracy is a big leap forward; typical improvements in the past have been less than 1%. While 33.8% might not sound like a lot, it’s a result that is noticeably higher than prior publications. Given any random image, this trained AI model will gives its top choice object (Top-1 accuracy), amongst 22,000 options, with an accuracy of 33.8%. И отдельно IBM пинает Microsoft (слово "конкуренция" переводится на английский как competition, то же "соревнование"): Our innovative distributed deep learning (DDL) approach enabled us to not just improve accuracy, but also to train a ResNet-101 neural network model in just 7 hours, by leveraging the power of 10s of servers, equipped with 100s of NVIDIA GPUs; Microsoft took 10 days to train the same model.
Что ждёт на этом пути дальше? Дальше больших компьютерных мощностей ждут-не-дождутся эволюционные алгоритмы, как раз недавно в комьюнити вышел их небольшой манифест на эту тему, "we wish to shine a light on the field of evolutionary computation (EC), which we believe is poised to be “The Next Big Thing”": https://biodatamining.biomedcentral.com/articles/10.1186/s13040-017-0147-3#Bib1. Последнее предложение там такое:"After all, since evolution by natural selection has given rise to human intelligence, surely artificial intelligence will greatly benefit from this process".
Так что это пока всё даже не цветочки, ягодки ещё впереди.
Для контраста в обсуждении ягодок можете прочесть "Большой войны не миновать" -- https://medium.com/@sergey_57776/большой-войны-не-миновать-c48e0e3d8425, там обсуждается другой цивилизационный тренд, альтернативные сингулярности сценарии.
Click to viewUPDATE: описание деталей того, что происходило -- https://blog.openai.com/more-on-dota-2/
Следующие планы? В Dota 2 играют командами по пять человек. Поэтому следующий план OpenAI -- сделать команду ботов, чтобы они не только умели побеждать сами по себе, но и умели налаживать сотрудничество между собой и противостоять командной игре других.
Это только начало всей истории, хотя очень и очень бодрое начало. А вот ещё одно начало, от DeepMind и Blizzard: выложен интерфейс для тренировки ботов в StarCraft II, https://deepmind.com/blog/deepmind-and-blizzard-open-starcraft-ii-ai-research-environment/ (StarCraft первой версии давно уже используется для тренировки AI, так что речь идёт о серьёзном шаге вперёд). Вот характеристика сложности этой игры: StarCraft’s action space presents a challenge with a choice of more than 300 basic actions that can be taken. Contrast this with Atari games, which only have about 10 (e.g. up, down, left, right etc). On top of this, actions in StarCraft are hierarchical, can be modified and augmented, with many of them requiring a point on the screen. Even assuming a small screen size of 84x84 there are roughly 100 million possible actions available.
Проще всего искусственному интеллекту сегодня прославиться, выигрывая какие-нибудь официальные соревнования с людьми -- то есть играя в игры. Игры ещё и прибыльное дело, ставки чемпионов мира в любых видах спорта (включая киберспорт) идут на миллионы долларов. Го и покер тут были просто разминкой. Настоящее веселье только-только начинается. И если кто-то считал, что роботы будут работать, а человеки из мяса будут лучшими по развлечениям в компьютерных играх, то нет -- роботы и в компьютерные игры будут играть получше людей. В принципе, и на олимпийском марафоне легко победит автомобиль без водителя, если не разводить на этих соревнованиях ксенофобию. И кому-нибудь нужно будет переписывать Homo Ludens (https://en.wikipedia.org/wiki/Homo_Ludens), добавляя материал по AI Ludens и меняя название на Omnes Ludens.
Почему игры так важны? Они позволяют сегодня преодолеть ограничение на недостаток данных и медленность времени: мир игры порождается компьютером, а время там течёт тоже со скоростью вычислений, а не как в реальности. То есть сажаем бота играть самого с собой -- и у него будет столько данных, сколько пожелаешь, и всё это обучение может происходить быстро. Тем самым можно улучшать алгоритмы искусственного интеллекта, не завися от медленности получения огромных объёмов данных в реальном мире. А когда нужно будет решить задачу реального мира, эти алгоритмы будут уже как-то освоены, их поведение будет известно, альтернативы опробованы, поэтому можно будет уверенней работать уже с реальным, а не игровым миром.
Прогресс в искусственном интеллекте в итоге сегодня определяется по большому счёту производительностью компьютеров. У кого железные мозги круче, тот и имеет шанс оказаться умней -- попробовать больше алгоритмических идей, или даже просто выучить свою нейронную сетку получше. И проблема в том, что задачи deep learning плохо распределяются по разным компьютерам, а один компьютер трудно сделать супер-пупер-мощным. Но и тут всё быстро.
IBM научилась обучать нейронную сетку на Caffe с 95% эффективностью по масштабированию, продемонстрировав результаты на кластере из 64 систем IBM Power с 256 NVIDIA P100 GPU: https://www.ibm.com/blogs/research/2017/08/distributed-deep-learning/. Размер компьютера имеет значение: when we scaled to a large cluster with 100s of NVIDAI GPUs, it yielded record image recognition accuracy of 33.8% on 7.5M images from the ImageNet-22k dataset vs the previous best published result of 29.8% by Microsoft. A 4% increase in accuracy is a big leap forward; typical improvements in the past have been less than 1%. While 33.8% might not sound like a lot, it’s a result that is noticeably higher than prior publications. Given any random image, this trained AI model will gives its top choice object (Top-1 accuracy), amongst 22,000 options, with an accuracy of 33.8%. И отдельно IBM пинает Microsoft (слово "конкуренция" переводится на английский как competition, то же "соревнование"): Our innovative distributed deep learning (DDL) approach enabled us to not just improve accuracy, but also to train a ResNet-101 neural network model in just 7 hours, by leveraging the power of 10s of servers, equipped with 100s of NVIDIA GPUs; Microsoft took 10 days to train the same model.
Что ждёт на этом пути дальше? Дальше больших компьютерных мощностей ждут-не-дождутся эволюционные алгоритмы, как раз недавно в комьюнити вышел их небольшой манифест на эту тему, "we wish to shine a light on the field of evolutionary computation (EC), which we believe is poised to be “The Next Big Thing”": https://biodatamining.biomedcentral.com/articles/10.1186/s13040-017-0147-3#Bib1. Последнее предложение там такое:"After all, since evolution by natural selection has given rise to human intelligence, surely artificial intelligence will greatly benefit from this process".
Так что это пока всё даже не цветочки, ягодки ещё впереди.
Для контраста в обсуждении ягодок можете прочесть "Большой войны не миновать" -- https://medium.com/@sergey_57776/большой-войны-не-миновать-c48e0e3d8425, там обсуждается другой цивилизационный тренд, альтернативные сингулярности сценарии.