Искусственный переинтеллект, или Почему человечество может не дожить до победы ИИ / Шансы России
Ещё футурология роботов, в т.ч. цифрономика здесь и здесь
«Беспокоиться о чужом народе и государстве никто не будет»
Что нельзя доверить искусственному интеллекту / Лучший «Огонек». Топ-10 материалов журнала за 2017 год. Выбор редакции / с ентябрь, 2017
Разговор со знающим человеком о том, насколько велики успехи в создании искусственного интеллекта. И насколько опасны. ©Ещё с Суховой и ещё об ИИ
Человек может стать для искусственного интеллекта расходным материалом
В последние недели все, что связано с перспективами разработок в сфере искусственного интеллекта (ИИ), вызывает самый живой интерес в мире. Интерес понятен: после заявления российского президента ("тот, кто станет лидером в этой сфере, будет властелином мира") и реакции на него главы космической компании SpaceX и основателя Tesla Илона Маска ("если государства начнут гонку за то, чтобы стать лидером на этом поприще, это приведет к большой войне"), проблема развития ИИ из просто научной стала еще и политической.
Есть ли для этого основания, "Огонек" выяснял у главы жюри хакатона VisionHack 2017 по компьютерному зрению для беспилотников, прошедшего на прошлой неделе в Москве, доктора технических наук и ветерана Силиконовой долины с 20-летним стажем Тимура Палташева.
Профессор Северо-западного политехнического университета Палташев Тимур Турсунович
Человек с передовой
Ученый из Петербурга Тимур Палташев - доктор технических наук (1987) и доктор наук (1994) в области компьютерной техники. Обладатель 24 американских патентов и более 10 заявок на патент. Работает в Силиконовой долине (Калифорния, США) почти 20 лет. В настоящее время - в AMD Radeon Technology Group, ранее - в Vivante Corporation, S3 Graphics Inc. и S3 Inc. Занимается и академической деятельностью, имеет многолетний опыт преподавания в аспирантуре ряда ведущих университетов России и США.
- Что нового в мире искусственного интеллекта (ИИ)?
- Это с какой точки зрения смотреть: если по части внедрения новых технологий, то вся технологическая база ИИ была создана в 1970-1980-е годы - алгоритмы, математика. Тогда это было сложно претворить в жизнь из-за малой мощности компьютеров. Впрочем, в истории человечества такое случалось уже не раз. Вспомните хотя бы Леонардо да Винчи, рисовавшего прообраз танка или вертолетного винта: реализовать эти расчеты в то время с теми материалами и типом энергии не представлялось возможным. С созданием нейронных сетей пришлось повременить куда как меньше - порядка 40 лет. Помню, во времена моей учебы в аспирантуре одной из групп, работавшей над проблемой "компьютерного зрения" и создававшей конвольверы (приборы для цифровой обработки сигналов.- "О") для распознавания изображения, приходилось возводить целые аппаратные блоки из микропроцессоров - компьютеры поодиночке работали крайне медленно. Сейчас же на вооружении исследователей машины мощностью в десятки терафлопс (показатель способности производить операции над числами с плавающей запятой, 1 терафлопс = 1 трлн операций в секунду.- "О"). Последнее изделие компании, где я работаю, имеет показатель 26 терафлопс. То есть построенная с его помощью нейронная сеть способна распознавать 20-30 кадров в секунду, а в 80-е годы на это уходили сутки. Сравните - скорость выросла в 86 400 раз.
- А вы говорите ничего нового...
- Я говорю об отсутствии качественного скачка в технологиях. Все, что сегодня делают разработчики ИИ,- это тренируют нейронные сети распознавать объекты: например, на автотранспорте - пешеходов, собак, кошек... Можно задать любой параметр. Мы только засекаем, сколько времени на это потребуется. Проблема в том, что каждый вид местности - город, трасса, бездорожье и т.д. - заставляет проводить новое обучение сети. В итоге все это напоминает "слоеный пирог", где на каждый слой в зависимости от обучения подаются нужные коэффициенты, чтобы машина распознала, что или кто перед ней. Таким образом, если мы хотим, чтобы машина ездила свободно по всем типам местностей, нам придется оснастить ее большим блоком памяти, а это накладно.
- Почему нельзя сделать легче и дешевле?
- Кремниевые машины - современные компьютеры - вплотную подошли к своему физическому пределу. Пару лет назад IBM была первой, кто презентовал чип, изготовленный по 7-нанометровой технологии. На днях было анонсировано, что Samsung намерен выпустить 7-нанометровый чип. Следующей ступенькой может быть чип в 5 нанометров. Если верить закону Мура (эмпирическое наблюдение одного из основателей Intel Гордона Мура, утверждавшего, что число транзисторов на кристалле интегральной схемы будет удваиваться каждые 24 месяца.- "О"), ждать 5-нанометрового чипа осталось недолго. Но ниже этой отметки - уже атомный уровень, и кремниевому процессору его не преодолеть, хотя и уровень в 5 нанометров потребует колоссальных энергетических затрат, которые сделают производство такой машины экономически невыгодным. Что уж говорить об атомном уровне! Созданные в качестве экспериментальных образцов модели квантовых компьютеров, во-первых, так и не были запущены в промышленное производство, а во-вторых, не являются универсальными и способны выполнять только определенные типы задач.
- У вас нет опасений: ИИ решит, что люди ему больше не нужны?
- Когда будет совершен качественный скачок в компьютерных технологиях, сети станут в разы мощней, а ИИ получит помимо навыков еще и эмоции, он, наверное, задумается над таким вопросом. Проблема в том, что до реализации таких прогнозов фантастов человечество может и не дожить. И дело тут не в оптимизме или пессимизме ученых или политиков. Лично я, например, реалист. Помните анекдот постсоветских времен: оптимист изучает английский, пессимист - китайский, а реалист - автомат Калашникова? Так вот сейчас риски, связанные с развитием ИИ, крайне опасны и способны завершиться полным крахом существующей системы и без ядерного апокалипсиса. Я имею в виду социальные последствия массового внедрения ИИ.
- И каковы они?
- Власти ничего на эту тему не говорят и, думаю, даже не просчитывают их. А следовало бы, ведь внедрение ИИ в сферу автотранспорта не за горами - работы идут полным ходом. Наиболее прибыльный тут сегмент грузоперевозок. Так вот, если по дорогам США начнут курсировать десятки роботизированных фур, управляемых ИИ, их начнут взрывать и отстреливать: американские дальнобойщики - одна из самых массовых профессий, настоящая "армия" в сотни тысяч человек, и сидеть сложа руки, наблюдая за тем, как их семьи остаются без средств к существованию, эти крепкие парни не будут, уж поверьте мне. Конечно, организаторам грузоперевозок ИИ в этой сфере выгоден: машины будут нуждаться только в дозаправках и способны двигаться 24 часа в сутки, тогда как работа человека нормирована законом - 12 часов "за баранкой", а за превышение - штраф. Но я сомневаюсь, что власти Штатов рискнут поставить ИИ на грузовой транспорт, как раз опасаясь социального взрыва. Скорее всего, они остановятся на варианте "автопилотов", позволяющих водителю в экстренном случае, когда он, например, задремал, не стать виновником аварии.
- А где ИИ могут внедрить в первую очередь?
- В сфере сельского хозяйства. Автоматизация там уже идет полным ходом. В Казахстане, например, комбайнер уже только контролирует, как машина выполняет задачу. При этом американский Jone Deere передвигается с помощью GPS-навигатора, а "россельмашевские" комбайны "зрячие" и "видят" камерами, распознавая объекты. Сельское хозяйство наиболее подвержено роботизации.
- Так это же хорошо?
- Смотря для кого. Для работников этой сферы, например, плохо. Эксперты уже подсчитали, что 90 процентов сельхознаселения в случае массового внедрения ИИ останутся без работы, а еще более масштабные исследования показывают, что тотальная роботизация и освоение ИИ приведет к тому, что услуги и труды половины населения планеты окажутся невостребованными. Хуже всего то, что если первыми жертвами внедрения ИИ станут грузчики, водители, сельхозрабочие и даже врачи-диагносты, то следующая волна развития ИИ выкинет на улицы офисный планктон. А это половина жителей той же Москвы.
- На Западе, похоже, об этих последствиях думают: там уже начинались эксперименты с выплатами гражданам просто по факту их гражданства...
- Деньгами проблему не решить. Плата за безделье - это промежуточное решение: человек без работы, без цели и не осознающий своей востребованности неизбежно деградирует - алкоголь, наркотики, нескончаемая депрессия. Если таких людей будет миллионы, это уже станет угрозой любому государству и общественному спокойствию. До следующей стадии развития ИИ - "личностной", той самой, которой так опасаются фантасты, можно в такой ситуации и вовсе не дожить - социальный и политический хаос сметет все.
- И как быть?
- Уже сейчас принудительно ограничивать внедрение ИИ. Если этого не сделать, то Маск окажется прав в своих "пророчествах". На данный момент полностью повернуть вспять невозможно - гонка началась, точка невозврата пройдена. С одной стороны, это неплохо, потому что развивать технологии нужно: в мире огромным успехом пользуется технология интернет-вещей и интернет-искусственных объектов, включая роботизированные бытовые приборы, самоходные транспортные средства и промышленное оборудование с машинным интеллектом, который кардинально меняет жизнь обычных людей. Но с другой стороны, наверное, следует хорошо просчитывать каждый последующий шаг, потому что за одной из дверей может оказаться бездна. Но об этом мало кто думает. В Штатах сегодня царит настоящая истерика, я бы сказал, массовый психоз, как это было во времена "звездных войн" и СОИ - инвесторы наперегонки стремятся вложить в ИИ деньги. Это в традициях нации, когда что-то на федеральном уровне объявлено "проектом века" и "сверхперспективным". И масштабным инвестициям в этом случае всегда сопутствует шпиономания и резкость в отношении других соискателей: недаром россиян и китайцев решено ни под каким видом в американский сектор ИИ не пускать.
- А каковы, кстати, шансы России в этом "забеге"?
- Были бы плохие, американцы бы не выставляли таких барьеров. Ведь в этом марафоне победят те, кто у кого больше "мозгов". Все остальное в современном мире можно купить. Я читал в СМИ про массовый исход "мозгов" из России, но, по собственным ощущениям, готов с этим поспорить: если в 1980-1990-е такой процесс действительно шел, то сейчас такого потока нет. Думаю, причины в том, что возросли риски, связанные с потерей социальной среды, привычного уклада, риски безопасности - все это оказывается сегодня не менее весомым, чем долларовая зарплата. Так что "мозги" в России остаются, а значит, она включается в эту гонку на выживание на равных.
- На выживание?
- Безусловно. Ведь борьба идет не за то, чтобы с помощью ИИ облагодетельствовать все человечество. Цель как и была, так и осталась неизменной с древних времен - выживание. В современном мире это означает ресурсы, финансы, возможность организовать "райскую жизнь" для своих граждан. Беспокоиться о чужом народе и государстве никто не будет. Разве что на словах. В сфере действия ИИ значение будет иметь то, кто быстрее принимает решения, у кого больше информаций и знаний, кто видит дальше всех, у кого промышленность быстрее реагирует на вызовы. ИИ не сводится исключительно к беспилотникам - на земле, в воде и воздухе. Это еще и "экспертные системы", которые позволяют вытаскивать нужную информацию и решения в гигантском объеме информации. "Индустрия 4.0" в значительной степени будет базироваться на таких системах.
- Но все это перспективы далекого будущего?
- Что-то появится через 10 лет, а что-то есть уже сейчас. Развитие технологий идет такими темпами, что эксперты регулярно ошибаются в прогнозах по части того, когда то или иное ноу-хау появится, как правило, в сторону увеличения сроков, а изобретения появляются куда как раньше.
- Но квантовый компьютер так и не стал массовым явлением...
- Возможно, благодаря этому факту человечество еще живо. Если бы удалось спуститься на атомный уровень, я бы не поручился, что завтра наступит. Не исключено, что культовый "Терминатор - Судный день" воплотился бы в реальность. И не потому, что машины решили бы уничтожить человечество, а потому, что система непредсказуема, в какой-то момент может принять неправильное решение...
- ИИ сойдет с ума?
- Нечто в этом роде. Так что точно не стоит внедрять ИИ в сферы, где его непредсказуемость может плохо закончиться для всего человечества. Я имею в виду оборону и безопасность. Кстати, американские военные сейчас не признают чипов "тоньше" 40 нанометров, а все потому, что такие суперчипы установлены в современные гаджеты, тогда как на армейском вооружении системы, которым по 20-30 лет. Но продолжится ли эта практика? Проблема в том, что и нынешнего уровня автоматики в сфере обороны достаточно, чтобы устроить Армагеддон. Ведь в любую автоматизированную систему "зашит" алгоритм действий, и сбой любого рода чреват его запуском, на который последует ответ другой стороны. Остановить процесс, когда он уже запущен, можно разве что в фильмах, но не на деле.
- Но ведь до сих пор "не выстрелило"?
- Все зависит от процента автоматизации: достаточно его чуточку усилить, чтобы кошмар стал явью. Собственно, Маск в том числе и об этом.
Беседовала Светлана Сухова
«Коммерсантъ Огонёк», №37, стр. 16, 18 сентября 2017
«Беспокоиться о чужом народе и государстве никто не будет»
Что нельзя доверить искусственному интеллекту / Лучший «Огонек». Топ-10 материалов журнала за 2017 год. Выбор редакции / с ентябрь, 2017
Разговор со знающим человеком о том, насколько велики успехи в создании искусственного интеллекта. И насколько опасны. ©Ещё с Суховой и ещё об ИИ
Человек может стать для искусственного интеллекта расходным материалом
В последние недели все, что связано с перспективами разработок в сфере искусственного интеллекта (ИИ), вызывает самый живой интерес в мире. Интерес понятен: после заявления российского президента ("тот, кто станет лидером в этой сфере, будет властелином мира") и реакции на него главы космической компании SpaceX и основателя Tesla Илона Маска ("если государства начнут гонку за то, чтобы стать лидером на этом поприще, это приведет к большой войне"), проблема развития ИИ из просто научной стала еще и политической.
Есть ли для этого основания, "Огонек" выяснял у главы жюри хакатона VisionHack 2017 по компьютерному зрению для беспилотников, прошедшего на прошлой неделе в Москве, доктора технических наук и ветерана Силиконовой долины с 20-летним стажем Тимура Палташева.
Профессор Северо-западного политехнического университета Палташев Тимур Турсунович
Человек с передовой
Ученый из Петербурга Тимур Палташев - доктор технических наук (1987) и доктор наук (1994) в области компьютерной техники. Обладатель 24 американских патентов и более 10 заявок на патент. Работает в Силиконовой долине (Калифорния, США) почти 20 лет. В настоящее время - в AMD Radeon Technology Group, ранее - в Vivante Corporation, S3 Graphics Inc. и S3 Inc. Занимается и академической деятельностью, имеет многолетний опыт преподавания в аспирантуре ряда ведущих университетов России и США.
- Что нового в мире искусственного интеллекта (ИИ)?
- Это с какой точки зрения смотреть: если по части внедрения новых технологий, то вся технологическая база ИИ была создана в 1970-1980-е годы - алгоритмы, математика. Тогда это было сложно претворить в жизнь из-за малой мощности компьютеров. Впрочем, в истории человечества такое случалось уже не раз. Вспомните хотя бы Леонардо да Винчи, рисовавшего прообраз танка или вертолетного винта: реализовать эти расчеты в то время с теми материалами и типом энергии не представлялось возможным. С созданием нейронных сетей пришлось повременить куда как меньше - порядка 40 лет. Помню, во времена моей учебы в аспирантуре одной из групп, работавшей над проблемой "компьютерного зрения" и создававшей конвольверы (приборы для цифровой обработки сигналов.- "О") для распознавания изображения, приходилось возводить целые аппаратные блоки из микропроцессоров - компьютеры поодиночке работали крайне медленно. Сейчас же на вооружении исследователей машины мощностью в десятки терафлопс (показатель способности производить операции над числами с плавающей запятой, 1 терафлопс = 1 трлн операций в секунду.- "О"). Последнее изделие компании, где я работаю, имеет показатель 26 терафлопс. То есть построенная с его помощью нейронная сеть способна распознавать 20-30 кадров в секунду, а в 80-е годы на это уходили сутки. Сравните - скорость выросла в 86 400 раз.
- А вы говорите ничего нового...
- Я говорю об отсутствии качественного скачка в технологиях. Все, что сегодня делают разработчики ИИ,- это тренируют нейронные сети распознавать объекты: например, на автотранспорте - пешеходов, собак, кошек... Можно задать любой параметр. Мы только засекаем, сколько времени на это потребуется. Проблема в том, что каждый вид местности - город, трасса, бездорожье и т.д. - заставляет проводить новое обучение сети. В итоге все это напоминает "слоеный пирог", где на каждый слой в зависимости от обучения подаются нужные коэффициенты, чтобы машина распознала, что или кто перед ней. Таким образом, если мы хотим, чтобы машина ездила свободно по всем типам местностей, нам придется оснастить ее большим блоком памяти, а это накладно.
- Почему нельзя сделать легче и дешевле?
- Кремниевые машины - современные компьютеры - вплотную подошли к своему физическому пределу. Пару лет назад IBM была первой, кто презентовал чип, изготовленный по 7-нанометровой технологии. На днях было анонсировано, что Samsung намерен выпустить 7-нанометровый чип. Следующей ступенькой может быть чип в 5 нанометров. Если верить закону Мура (эмпирическое наблюдение одного из основателей Intel Гордона Мура, утверждавшего, что число транзисторов на кристалле интегральной схемы будет удваиваться каждые 24 месяца.- "О"), ждать 5-нанометрового чипа осталось недолго. Но ниже этой отметки - уже атомный уровень, и кремниевому процессору его не преодолеть, хотя и уровень в 5 нанометров потребует колоссальных энергетических затрат, которые сделают производство такой машины экономически невыгодным. Что уж говорить об атомном уровне! Созданные в качестве экспериментальных образцов модели квантовых компьютеров, во-первых, так и не были запущены в промышленное производство, а во-вторых, не являются универсальными и способны выполнять только определенные типы задач.
- У вас нет опасений: ИИ решит, что люди ему больше не нужны?
- Когда будет совершен качественный скачок в компьютерных технологиях, сети станут в разы мощней, а ИИ получит помимо навыков еще и эмоции, он, наверное, задумается над таким вопросом. Проблема в том, что до реализации таких прогнозов фантастов человечество может и не дожить. И дело тут не в оптимизме или пессимизме ученых или политиков. Лично я, например, реалист. Помните анекдот постсоветских времен: оптимист изучает английский, пессимист - китайский, а реалист - автомат Калашникова? Так вот сейчас риски, связанные с развитием ИИ, крайне опасны и способны завершиться полным крахом существующей системы и без ядерного апокалипсиса. Я имею в виду социальные последствия массового внедрения ИИ.
- И каковы они?
- Власти ничего на эту тему не говорят и, думаю, даже не просчитывают их. А следовало бы, ведь внедрение ИИ в сферу автотранспорта не за горами - работы идут полным ходом. Наиболее прибыльный тут сегмент грузоперевозок. Так вот, если по дорогам США начнут курсировать десятки роботизированных фур, управляемых ИИ, их начнут взрывать и отстреливать: американские дальнобойщики - одна из самых массовых профессий, настоящая "армия" в сотни тысяч человек, и сидеть сложа руки, наблюдая за тем, как их семьи остаются без средств к существованию, эти крепкие парни не будут, уж поверьте мне. Конечно, организаторам грузоперевозок ИИ в этой сфере выгоден: машины будут нуждаться только в дозаправках и способны двигаться 24 часа в сутки, тогда как работа человека нормирована законом - 12 часов "за баранкой", а за превышение - штраф. Но я сомневаюсь, что власти Штатов рискнут поставить ИИ на грузовой транспорт, как раз опасаясь социального взрыва. Скорее всего, они остановятся на варианте "автопилотов", позволяющих водителю в экстренном случае, когда он, например, задремал, не стать виновником аварии.
- А где ИИ могут внедрить в первую очередь?
- В сфере сельского хозяйства. Автоматизация там уже идет полным ходом. В Казахстане, например, комбайнер уже только контролирует, как машина выполняет задачу. При этом американский Jone Deere передвигается с помощью GPS-навигатора, а "россельмашевские" комбайны "зрячие" и "видят" камерами, распознавая объекты. Сельское хозяйство наиболее подвержено роботизации.
- Так это же хорошо?
- Смотря для кого. Для работников этой сферы, например, плохо. Эксперты уже подсчитали, что 90 процентов сельхознаселения в случае массового внедрения ИИ останутся без работы, а еще более масштабные исследования показывают, что тотальная роботизация и освоение ИИ приведет к тому, что услуги и труды половины населения планеты окажутся невостребованными. Хуже всего то, что если первыми жертвами внедрения ИИ станут грузчики, водители, сельхозрабочие и даже врачи-диагносты, то следующая волна развития ИИ выкинет на улицы офисный планктон. А это половина жителей той же Москвы.
- На Западе, похоже, об этих последствиях думают: там уже начинались эксперименты с выплатами гражданам просто по факту их гражданства...
- Деньгами проблему не решить. Плата за безделье - это промежуточное решение: человек без работы, без цели и не осознающий своей востребованности неизбежно деградирует - алкоголь, наркотики, нескончаемая депрессия. Если таких людей будет миллионы, это уже станет угрозой любому государству и общественному спокойствию. До следующей стадии развития ИИ - "личностной", той самой, которой так опасаются фантасты, можно в такой ситуации и вовсе не дожить - социальный и политический хаос сметет все.
- И как быть?
- Уже сейчас принудительно ограничивать внедрение ИИ. Если этого не сделать, то Маск окажется прав в своих "пророчествах". На данный момент полностью повернуть вспять невозможно - гонка началась, точка невозврата пройдена. С одной стороны, это неплохо, потому что развивать технологии нужно: в мире огромным успехом пользуется технология интернет-вещей и интернет-искусственных объектов, включая роботизированные бытовые приборы, самоходные транспортные средства и промышленное оборудование с машинным интеллектом, который кардинально меняет жизнь обычных людей. Но с другой стороны, наверное, следует хорошо просчитывать каждый последующий шаг, потому что за одной из дверей может оказаться бездна. Но об этом мало кто думает. В Штатах сегодня царит настоящая истерика, я бы сказал, массовый психоз, как это было во времена "звездных войн" и СОИ - инвесторы наперегонки стремятся вложить в ИИ деньги. Это в традициях нации, когда что-то на федеральном уровне объявлено "проектом века" и "сверхперспективным". И масштабным инвестициям в этом случае всегда сопутствует шпиономания и резкость в отношении других соискателей: недаром россиян и китайцев решено ни под каким видом в американский сектор ИИ не пускать.
- А каковы, кстати, шансы России в этом "забеге"?
- Были бы плохие, американцы бы не выставляли таких барьеров. Ведь в этом марафоне победят те, кто у кого больше "мозгов". Все остальное в современном мире можно купить. Я читал в СМИ про массовый исход "мозгов" из России, но, по собственным ощущениям, готов с этим поспорить: если в 1980-1990-е такой процесс действительно шел, то сейчас такого потока нет. Думаю, причины в том, что возросли риски, связанные с потерей социальной среды, привычного уклада, риски безопасности - все это оказывается сегодня не менее весомым, чем долларовая зарплата. Так что "мозги" в России остаются, а значит, она включается в эту гонку на выживание на равных.
- На выживание?
- Безусловно. Ведь борьба идет не за то, чтобы с помощью ИИ облагодетельствовать все человечество. Цель как и была, так и осталась неизменной с древних времен - выживание. В современном мире это означает ресурсы, финансы, возможность организовать "райскую жизнь" для своих граждан. Беспокоиться о чужом народе и государстве никто не будет. Разве что на словах. В сфере действия ИИ значение будет иметь то, кто быстрее принимает решения, у кого больше информаций и знаний, кто видит дальше всех, у кого промышленность быстрее реагирует на вызовы. ИИ не сводится исключительно к беспилотникам - на земле, в воде и воздухе. Это еще и "экспертные системы", которые позволяют вытаскивать нужную информацию и решения в гигантском объеме информации. "Индустрия 4.0" в значительной степени будет базироваться на таких системах.
- Но все это перспективы далекого будущего?
- Что-то появится через 10 лет, а что-то есть уже сейчас. Развитие технологий идет такими темпами, что эксперты регулярно ошибаются в прогнозах по части того, когда то или иное ноу-хау появится, как правило, в сторону увеличения сроков, а изобретения появляются куда как раньше.
- Но квантовый компьютер так и не стал массовым явлением...
- Возможно, благодаря этому факту человечество еще живо. Если бы удалось спуститься на атомный уровень, я бы не поручился, что завтра наступит. Не исключено, что культовый "Терминатор - Судный день" воплотился бы в реальность. И не потому, что машины решили бы уничтожить человечество, а потому, что система непредсказуема, в какой-то момент может принять неправильное решение...
- ИИ сойдет с ума?
- Нечто в этом роде. Так что точно не стоит внедрять ИИ в сферы, где его непредсказуемость может плохо закончиться для всего человечества. Я имею в виду оборону и безопасность. Кстати, американские военные сейчас не признают чипов "тоньше" 40 нанометров, а все потому, что такие суперчипы установлены в современные гаджеты, тогда как на армейском вооружении системы, которым по 20-30 лет. Но продолжится ли эта практика? Проблема в том, что и нынешнего уровня автоматики в сфере обороны достаточно, чтобы устроить Армагеддон. Ведь в любую автоматизированную систему "зашит" алгоритм действий, и сбой любого рода чреват его запуском, на который последует ответ другой стороны. Остановить процесс, когда он уже запущен, можно разве что в фильмах, но не на деле.
- Но ведь до сих пор "не выстрелило"?
- Все зависит от процента автоматизации: достаточно его чуточку усилить, чтобы кошмар стал явью. Собственно, Маск в том числе и об этом.
Беседовала Светлана Сухова
«Коммерсантъ Огонёк», №37, стр. 16, 18 сентября 2017