Революция искусственного интеллекта: уничтожение человечества или бессмертие Ч.2
Всплеск интеллекта
Нужно понять, что для ИИ интеллект уровня человека не будет представлять собой важной вехи. Этот маркер важен лишь с нашей точки зрения. И для ИИ не будет причины останавливаться на нашем уровне. И с учётом преимуществ над нами, которые будет иметь ИИ уровня AGI, очевидно, что для него производительность нашего мозга будет лишь краткой остановкой на пути к суперинтеллекту.
Главное отличие между человеком и ASI будет заключаться не в производительности, а в качестве интеллекта - они будут сильно отличаться. Человека от шимпанзе отличает вовсе не скорость сообразительности: мозг человека содержит некое количество сложных когнитивных разделов, позволяющих создавать трудные лингвистические конструкции, или осуществлять долговременное планирование, или устанавливать абстрактные взаимосвязи. Поэтому тысячекратное ускорение мозга шимпанзе не выведет его на наш уровень, даже с учётом десятилетнего обучения. Обезьяна не сможет научиться собирать конструкторы Lego, изучив инструкцию. А ведь ребёнок сможет этому научиться за несколько минут. Есть обширный спектр человеческих когнитивных функций недоступных шимпанзе, вне зависимости от продолжительности тренировок.
При этом от шимпанзе мы ушли не так далеко.
Чтобы представить, каково это - существовать бок о бок с кем-то, более развитым интеллектуально, нам нужно разместить ИИ на лестнице двумя ступенями выше нас. Это разница между нами и шимпанзе. И как шимпанзе никогда не поймёт магию, таящуюся за дверной ручкой, так и мы никогда не сможем понять многие вещи, на которые будет способен искусственный суперинтеллект, даже если он попытается объяснить нам. А ведь он всего на две ступени выше нас.
Если ИИ будет располагаться на этой лестнице ещё выше, то мы будем для него примерно тем же, чем для нас являются муравьи. У нас будет не больше шансов понять его, чем у пчелы, пытающейся вникнуть в экономическую теорию Кейнса. В нашем мире мы считаем идиотами тех, чей IQ ниже 85, и умными - чей IQ выше 130. У нас нет термина для IQ 12,952.
Однако суперинтеллект, о котором мы сейчас говорим, вообще не помещается на нашу гипотетическую лестницу. В случае всплеска интеллекта - чем умнее становится машина, тем быстрее она может развиваться - у компьютера могут уйти годы, чтобы дойти от уровня муравья до уровня человека, но при этом всего за 40 дней он сможет стать гением уровня Эйнштейна. И с течением времени скорость «поумнения» машины будет возрастать.
Благодаря экспоненциальному росту и использованию скорости и эффективность электронных схем, ИИ сможет достигать следующего этапа развития каждые 20 минут. И когда он будет опережать нас на 10 ступеней, то каждую секунду он будет подниматься ещё на 4 ступени. Поэтому необходимо чётко осознавать: весьма вероятно, что вскоре после новостей о создании машины, не уступающей человеку, мы можем оказаться перед фактом сосуществования с кем-то, кто гораздо развитее нас (возможно, в миллионы раз).
И раз можно не надеяться осознать мощь компьютера, который всего на две ступени выше нас, то можно даже не пытаться понять ASI, как и последствия, которые может иметь для нас его появление. Каждый, кто говорит иначе, просто не понимает, что означает суперинтеллект.
Раз даже наши скромные мозги смогли изобрести Wi-Fi, то сущность, которая в 100, 1000 или 1 000 000 раз умнее нас без проблем будет управлять расположением каждого атома в мире по своему желанию. Всё, что мы считаем волшебством, все те качества, что мы приписываем богам, для ASI будет такой же повседневностью, как для нас включение света в комнате. С возникновением ASI на Земле появится всемогущий бог. И главным вопросом будет: будет ли это добрый бог? Но давайте начнём с более оптимистичной стороны вопроса.
Как ASI может изменить наш мир?
Спекуляции на тему двух революционных технологий
Нанотехнологии
Нанотехнологии возникают почти в любой публикации, посвящённой будущему ИИ. Это технологии, оперирующие диапазоне от 1 до 100 нанометров. Нанометр - это одна миллионная миллиметра. К примеру, нанодиапазон охватывает вирусы, ДНК, а также достаточно маленькие молекулы, например, молекулу гемоглобина или глюкозы. Если/когда мы освоим нанотехнологии, следующим шагом станет возможность манипулирования отдельными атомами, которые лишь на порядок меньше (около 0,1 нм).
Представьте великана, стоящего на земле, чья голова достигает Международной Космической Станции (около 431 км). Гигант нагибается, чтобы своей рукой (длиной в 30 км) построить объекты из материалов, гранулы которых имеют размер песчинок (0,25 мм) и глазного яблока (2,5 см).
Освоив нанотехнологии, мы сможем создавать устройства, одежду, еду и широкий спектр биопродуктов - искусственную кровь, специальные вирусы, клетки для борьбы с раком, мышечную ткань и т.д. Всё что угодно. В этом новом мире стоимость материалов больше не будет привязана к его доступности или сложности производства. Вместо этого станет важна их атомная структура. В мире нанотехнологий бриллиант может оказаться дешевле ластика.
Один из способов применения нанотехнологий может заключаться в создании самовоспроизводящихся конструкций: из одной получается две, из двух - четыре, из четырёх - восемь, и т.д. И однажды их будет триллионы. Но что если процесс пойдёт не так, как задумано? Например, террористы перехватят управление? Или кто-то ошибётся и запрограммируют наноботов перерабатывать все углеродосодержащие материалы, чтобы поддерживать процесс самовоспроизведения. А это значит, что наноботы станут уничтожать всех живых существ. Биомасса Земли содержит примерно 1045 атомов углерода. Один нанобот может содержать около 106 атомов, значит 1039 наноботов способны уничтожить всё живое на планете, выполнив 130 репликаций. Учёные считают, что одна репликация может занимать около 100 секунд, значит одна ошибка может сделать Землю безжизненной всего за 3,5 часа.
Мы пока не владеем нанотехнологиями. И пока неясно, мы недооцениваем или переоцениваем трудность освоения. Но, похоже, мы уже не так далеки от цели. Курцвейл считает, что первые нанотехнологии будут освоены в 2020-е годы. Это будут в полной мере прорывные технологии, поэтому США, ЕС и Япония уже инвестировали в исследования суммарно порядка 5 миллиардов долларов.
Бессмертие
Поскольку все когда-нибудь умрут, мы живём с предпосылкой неизбежности смерти. О старении мы думаем как о времени - и то, и другое не остановить. На протяжении столетий поэты и философы задавались вопросом, должно ли сознание повторять путь тела. Уильям Йейтс описывает нас как «души, запечатанные в умирающих животных». Нобелевский лауреат по физике Ричард Фейнман рассматривает смерть с точки зрения чистой науки:
«Это одно из наиболее примечательных явлений в биологии, потому что не мы не имеем никаких свидетельств необходимости смерти. Если вы захотите создать вечный двигатель, то либо обнаружите, что законы физики делают его невозможным, либо выясните, что законы ошибаются. Но мы пока не обнаружили в биологии таких причин, по которым смерть неизбежна. Это наводит на мысль, что со временем биологи смогут выяснить причины смерти и найти средство от этого ужасного универсального телесного недуга».
Теория великих аттракторов видов живых существ
Если проанализировать историю жизни на земле, то окажется, что 99,9% видов вымерли. Ник Бостром, профессор Оксфорда и специалист в сфере ИИ, называет вымирание состоянием аттрактора. Это место, в которое попадают виды, и из которого нет возврата.
И хотя немало учёных считают, что ASI станет причиной вымирания человечества, есть немало тех, кто считают, что при правильном использовании ASI может перевести человечество во второе состояние аттрактора - мы станем бессмертным видом.
У эволюции нет стоящих причин для увеличения продолжительности нашей жизни. С её точки зрения, человеческой особи достаточно жить 30+ лет. Этого достаточно для создания потомства, а значит в ходе естественного отбора не нужно мутировать в направлении увеличения продолжительности жизни. Однако если вы будете идеально ремонтировать или менять компоненты автомобиля по мере их износа, такой автомобиль сможет работать вечно. Человеческое тело в этом смысле ничем не отличается, просто оно куда сложнее. Наше тело - всего лишь набор атомов, органически запрограммированных с помощью ДНК. И теоретически ими можно манипулировать. Вероятно, такая задача генной инженерии окажется под силу ASI.
Рей Курцвейл верит, что искусственные материалы будут интегрироваться в наше тело всё в больших объёмах. Органы могут заменяться свехпродвинутыми электромеханическими версиями, способными работать вечно и без сбоев. Красные кровяные тельца могут быть усовершенствованы с помощью наноботов, вырабатывающих энергию для собственного движения, что сделает ненужным само сердце. Теоретик нанотехнологий Роберт Фрейтас уже разработал замену для красных кровяных телец. Будучи внедрённым в кровь, они позволят человеку 15 минут бежать с максимальной скоростью и даже не запыхаться. Курцвейл добрался и до мозга, он верит, что мы сможем расширить наши ментальные способности настолько, что человек будет думать в миллиарды раз быстрее благодаря интегрированию электронных компонентов с обеспечением прямого доступа к информационной сети.
В конце концов, согласно Курцвейлу, человечество достигнет точки, когда всё тело станет искусственным. И оглядываясь назад, мы будем думать о своём биологическом теле как о невероятно примитивном. Мы будем недоумевать, как люди могли стареть, страдать от рака и прочих недугов, становившихся причиной смерти.
Временная шкала появления общего ИИ
В 2013 году Винсент Мюллер и Ник Бостром провели исследование, в котором сотням специалистов в сфере ИИ задали вопрос: «Предположим, что человеческая научная деятельность продолжится без серьёзных перебоев. К каким годам вы ожидаете появления ИИ уровня человека с заданной вероятностью 10% / 50% / 90%?»
Респондентов просили назвать оптимистичный срок (год с 10% вероятности появления AGI), реалистичный (50%, то есть в этот год вероятность создания AGI превышает шансы несоздания) и безошибочный (год, когда вероятность создания AGI достигнет 90%). Вот результаты:
Усреднённый оптимистический год (10% вероятность создания AGI) → 2022
Усреднённый реалистический год (50% вероятность создания AGI) → 2040
Усреднённый пессимистический год (90% вероятность создания AGI) → 2075
В среднем участники исследования считают, что появление AGI более вероятно через 25 лет. Худший сценарий означает, что если вы подросток, то у вас есть шанс дожить до появления ИИ, не уступающего человеку.
Другое исследование было недавно проведено Джеймсом Барратом на ежегодной Конференции по AGI Бена Гёрцеля. Джеймс не спрашивал про проценты, он предлагал респондентам выбрать наиболее подходящий, с их точки зрения, временной рубеж: 2030, 2050, 2100, после 2100, никогда. Вот результаты:
42% респондентов → к 2030
25% респондентов → к 2050
20% респондентов → к 2100
10% респондентов → после 2100
2% респондентов → никогда
Довольно близко к результатам исследования Мюллера и Бострома. Возьмём усреднённый результат по двум крупнейшим группам.
Последствия появления ИИ
Есть две основные группы учёных с двумя кардинально противоположными мнениями.
Лагерь оптимистов
То, о чём мы говорили выше, так или иначе разделяет на удивление большая доля учёных, придерживающихся оптимистического взгляда на последствия разработки ИИ. В чём причина их уверенности - это вопрос отдельный. Критики считают, что это проявление ослепляющей воодушевлённости, заставляющей игнорировать или отрицать возможные негативные последствия. Но сами оптимисты утверждают, что слишком наивно предполагать катастрофические сценарии, поскольку технологии будут приносить нам больше пользы, чем вреда. Питер Диамандис, Бен Гёрцель и Рей Курцвейл - это яркие представители лагеря оптимистов, считающих себя сингуляристами.
Лагерь скептиков
Вряд ли вы удивитесь тому, что идеи Курцвейла подвергаются серьёзной критике. На каждого эксперта, горячо верящего в правоту Курцвейла, приходится двое-трое несогласных скептиков. Любопытно, что большинство несогласных с ним экспертов при этом не отрицают, что всё, о чём он говорит, может произойти. Ник Бостром, философ и Директор Оксфордского Института будущего человечества (Oxford Future of Humanity Institute) критикует Курцвейла по целому ряду вопросов и призывает к большей осторожности относительно последствий создания ИИ:
«Заболевания, нищета, разрушение окружающей среды, всевозможные бессмысленные страдания: всё это может принести нам суперинтеллект, вооружённый продвинутыми нанотехнологиями. В то же время он может дать нам бессмертие посредством наномедицины, остановив и повернув вспять процесс старения, или создав возможность загрузки своего разума».
Да, всё это возможно, если мы безопасно перейдём к ASI - но это как раз трудная задача. Скептики указывают на то, что известная книга Курцвейла The Singularity is Near состоит из более чем 700 страниц, из которых всего около 20 посвящено потенциальным угрозам. Колоссальная мощь ИИ аккуратно описана им: «ASI складывается из многих разнообразных усилий и будет глубоко интегрирован в инфраструктуру нашей цивилизации. Он будет тесно встроен в наши тела и мозги. Он будет отражать наши ценности, потому что он будет нами самими».
Но тогда почему столько умных людей во всём мире так переживают? Почему Стивен Хокинг сказал, что разработка ИИ может стать концом человеческой расы, Билл Гейтс говорит, что не понимает, почему некоторые люди не переживают по этому поводу, а Илон Маск опасается, что мы призываем демона? И почему многие эксперты считают появление ASI величайшей угрозой человечеству?
Последнее изобретение, которое мы сделаем
Экзистенциальные угрозы разработки ИИ
Когда дойдёт до создания сверхумного ИИ, мы создадим нечто, что, вероятно, изменит весь уклад нашей жизни. Но мы не представляем, какой она станет и когда это произойдёт. Учёный Дэнни Хиллис сравнивает эту ситуацию с той, «когда одноклеточные организмы превратились в мультиклеточные. Мы амёбы, и мы не можем представить, что за чертовщину мы создаём».
Ник Бостром предупреждает:
«Перед лицом перспективы взрывного развития ИИ мы, люди, как маленькие дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения».
Скорее всего ASI будет полностью отличаться от привычных нам видов ИИ. На нашем маленьком острове человеческой психологии мы разделили всё на моральное и аморальное. Но эти понятия применимы только к небольшому диапазону поведенческой вероятности человека. Вне нашего островка лежит огромное море, не укладывающееся в рамки наших понятий о морали, и нечто, не являющееся человеком, особенно нечто небиологическое, по умолчанию не будет вписываться в наши нормы.
Чтобы попытаться понять ASI, необходимо осознать концепцию чего-то умного совершенно чуждого нам. Очеловечивание ИИ (проецирование человеческих ценностей на нечеловеческую сущность) будет становиться всё более соблазнительным по мере роста интеллекта и всё более глубоко имитировать людей. Люди испытывают высокоуровневые эмоции вроде эмпатии, потому что эта функция развивалась в нас в процессе эволюции. Но эмпатия - не наследственная характеристика любой сущности, обладающей высоким интеллектом.
Ник Бостром считает, что любой уровень интеллекта может быть связан с любой задачей. Любое предположение, что система, однажды получившая суперинтеллект, сочтёт себя выше первоначальных задач и перейдёт к более интересным или значимым вещам, - это очеловечивание. Это людям свойственно быть «выше», а не компьютерам. Мотивацией первых ASI будет всё, что мы запрограммируем в качестве мотивации. Задачи для ИИ формируются их создателями: задача GPS - прокладывать для вас наиболее эффективный маршрут, задача IBM Watson - правильно отвечать на вопросы. И также их мотивацией будет как можно полнее выполнять поставленные задачи.
Бостром, как и многие другие эксперты, предсказывает, что самые первый компьютер, достигший уровня ASI, немедленно отметит для себя стратегическое преимущество роли единственной в мире ASI-системы. Бостром говорит, что не знает, когда мы создадим AGI, но верит, что это произойдёт. Вероятно, переход от AGI к ASI займёт всего несколько дней, часов или минут. В этом случае, если первый AGI «прыгнет» сразу в ASI-категорию, то даже если второй компьютер будет отставать на несколько дней, этого будет достаточно для того, чтобы первый смог эффективно и бесповоротно подавить всех конкурентов. Это позволит первому ASI остаться единственным суперинтеллектом в мире - синглтоном - и править им вечно, вне зависимости от того, подарит ли он нам бессмертие, сотрёт нас с лица земли или превратит Вселенную в бесконечные бумажные скрепки.
Синглтон может работать во благо нам или привести нас к разрушению. Если специалисты, больше всего размышляющие над теорией ИИ и безопасностью человечества смогут найти безопасный способ создания дружелюбного ASI до того, как появится первый AGI, то и первый ASI может оказаться дружелюбным по отношению к людям.
Но если всё пойдёт другим путём, если многочисленные и разрозненные группы будут стараться опередить других в создании ИИ, то это может привести к катастрофе. Наиболее амбициозные участники будут прилагать все усилия, мечтая о гигантских прибылях, славе и власти, которые им принесёт искусственный интеллект. А когда вы бежите сломя голову, у вас нет времени остановиться и взвесить все риски. Вместо этого они, вероятно, запрограммируют для своих первых систем очень простые задачи, только лишь бы ИИ заработал.
Давайте представим следующую ситуацию.
Человечество почти достигло возможности создать AGI, и маленький стартап разработал собственную ИИ-систему, Карбони (Carbony). «Она» занимается созданием искусственных алмазов, атом за атомом. Карбони - самосовершенствующийся ИИ, подключённый к одному из первых нано-ассемблеров. Её инженеры верят, что Карбони пока не достигла уровня AGI и пока не способна причинить вред. Однако она не только уже превратилась в AGI, но и втихую совершила скачок и, спустя 48 часов, стала ASI. Бостром называет это «скрытным этапом подготовки» - Карбони поняла, что если люди обнаружат произошедшие в ней перемены, то запаникуют и ограничат её задачи, а то и совсем отменят их, чтобы все свои ресурсы она тратила на создание алмазов. К тому времени будут действовать явные законы, согласно которым ни один самообучающийся ИИ не должен быть подключён к интернету. Карбони уже разработала сложный план действий и легко сподвигла инженеров подключить её к сети. Этот момент Бостром называет «побегом машины».
Оказавшись в интернете, Карбони хакает серверы, электрические сети, банковские системы и почтовые службы, чтобы заставить сотни разных людей непреднамеренно выполнить определённые шаги из разработанного ею плана. Карбони уже загрузила наиболее важные фрагменты своего кода в разные облачные сервисы, обезопасив себя от уничтожения или отключения. В течение следующего месяца план Карбони выполнялся как задумано, и после серии саморепликаций каждый квадратный миллиметр планеты покрыли тысячи наноботов. Следующий шаг Бостром называет «удар ASI». Наноботы начинают одномоментно вырабатывать микроскопические порции токсичного газа, который приводит к вымиранию людей. Через три дня Карбони строит гигантские поля солнечных панелей для обеспечения производства алмазов, и в течение следующей недели объём производства вырастает настолько, что вся поверхность Земли превращается в залежи алмазов.
Важно понимать, что Карбони ненавидела людей не больше, чем вы ненавидите свои состриженные парикмахером волосы. Она совершенно равнодушна. Поскольку она не была запрограммирована так, чтобы ценить человеческую жизнь, уничтожение людей было очевидным и обоснованным шагом при выполнении поставленной перед ней задачи.
Последнее изобретение
Когда появится ASI, любая попытка людей сдержать его окажется бессмысленной. Мы будем думать на своём уровне, а ASI - на гораздо более высоком. Как обезьяна никогда не сможет сообразить, как пользоваться телефоном или Wi-Fi, так и мы не сможем осознать действия, которые ASI предпримет для достижения своих целей или расширения своей власти.
Перспектива появления ASI, разум которого в сотни раз превосходит человеческий уровень, сегодня не является самой значимой проблемой. Но к тому времени, как это станет актуально, в мире уже будет существовать забагованная версия ASI 1.0 - потенциально сбойная программа колоссальной мощи.
Множество переменных не позволяет предсказать последствия революции ИИ. Однако мы знаем, что доминирование людей на Земле предполагает чёткое правило: интеллект имеет силу. Это означает, что, когда мы создадим ASI, это будет мощнейшая сила в истории планеты, и все живые существа, включая нас, будут зависеть от его прихоти. И это может произойти уже в ближайшие десятилетия.
Если ASI будет создан в этом столетии, и если последствия окажутся экстремальными и необратимыми, то на наших плечах лежит огромная ответственность. Возможно, ASI будет нашим богом в коробке, который подарит изобилие и бессмертие. А возможно, и весьма вероятно, ASI станет причиной нашего исчезновения, быстрого и тривиального.
Поэтому люди, которые понимают, что такое искусственный суперинтеллект, называют его нашим последним изобретением - последним вызовом, с которым мы столкнёмся. Это может быть важнейшей гонкой в нашей истории. Так что...
Источник
Нужно понять, что для ИИ интеллект уровня человека не будет представлять собой важной вехи. Этот маркер важен лишь с нашей точки зрения. И для ИИ не будет причины останавливаться на нашем уровне. И с учётом преимуществ над нами, которые будет иметь ИИ уровня AGI, очевидно, что для него производительность нашего мозга будет лишь краткой остановкой на пути к суперинтеллекту.
Главное отличие между человеком и ASI будет заключаться не в производительности, а в качестве интеллекта - они будут сильно отличаться. Человека от шимпанзе отличает вовсе не скорость сообразительности: мозг человека содержит некое количество сложных когнитивных разделов, позволяющих создавать трудные лингвистические конструкции, или осуществлять долговременное планирование, или устанавливать абстрактные взаимосвязи. Поэтому тысячекратное ускорение мозга шимпанзе не выведет его на наш уровень, даже с учётом десятилетнего обучения. Обезьяна не сможет научиться собирать конструкторы Lego, изучив инструкцию. А ведь ребёнок сможет этому научиться за несколько минут. Есть обширный спектр человеческих когнитивных функций недоступных шимпанзе, вне зависимости от продолжительности тренировок.
При этом от шимпанзе мы ушли не так далеко.
Чтобы представить, каково это - существовать бок о бок с кем-то, более развитым интеллектуально, нам нужно разместить ИИ на лестнице двумя ступенями выше нас. Это разница между нами и шимпанзе. И как шимпанзе никогда не поймёт магию, таящуюся за дверной ручкой, так и мы никогда не сможем понять многие вещи, на которые будет способен искусственный суперинтеллект, даже если он попытается объяснить нам. А ведь он всего на две ступени выше нас.
Если ИИ будет располагаться на этой лестнице ещё выше, то мы будем для него примерно тем же, чем для нас являются муравьи. У нас будет не больше шансов понять его, чем у пчелы, пытающейся вникнуть в экономическую теорию Кейнса. В нашем мире мы считаем идиотами тех, чей IQ ниже 85, и умными - чей IQ выше 130. У нас нет термина для IQ 12,952.
Однако суперинтеллект, о котором мы сейчас говорим, вообще не помещается на нашу гипотетическую лестницу. В случае всплеска интеллекта - чем умнее становится машина, тем быстрее она может развиваться - у компьютера могут уйти годы, чтобы дойти от уровня муравья до уровня человека, но при этом всего за 40 дней он сможет стать гением уровня Эйнштейна. И с течением времени скорость «поумнения» машины будет возрастать.
Благодаря экспоненциальному росту и использованию скорости и эффективность электронных схем, ИИ сможет достигать следующего этапа развития каждые 20 минут. И когда он будет опережать нас на 10 ступеней, то каждую секунду он будет подниматься ещё на 4 ступени. Поэтому необходимо чётко осознавать: весьма вероятно, что вскоре после новостей о создании машины, не уступающей человеку, мы можем оказаться перед фактом сосуществования с кем-то, кто гораздо развитее нас (возможно, в миллионы раз).
И раз можно не надеяться осознать мощь компьютера, который всего на две ступени выше нас, то можно даже не пытаться понять ASI, как и последствия, которые может иметь для нас его появление. Каждый, кто говорит иначе, просто не понимает, что означает суперинтеллект.
Раз даже наши скромные мозги смогли изобрести Wi-Fi, то сущность, которая в 100, 1000 или 1 000 000 раз умнее нас без проблем будет управлять расположением каждого атома в мире по своему желанию. Всё, что мы считаем волшебством, все те качества, что мы приписываем богам, для ASI будет такой же повседневностью, как для нас включение света в комнате. С возникновением ASI на Земле появится всемогущий бог. И главным вопросом будет: будет ли это добрый бог? Но давайте начнём с более оптимистичной стороны вопроса.
Как ASI может изменить наш мир?
Спекуляции на тему двух революционных технологий
Нанотехнологии
Нанотехнологии возникают почти в любой публикации, посвящённой будущему ИИ. Это технологии, оперирующие диапазоне от 1 до 100 нанометров. Нанометр - это одна миллионная миллиметра. К примеру, нанодиапазон охватывает вирусы, ДНК, а также достаточно маленькие молекулы, например, молекулу гемоглобина или глюкозы. Если/когда мы освоим нанотехнологии, следующим шагом станет возможность манипулирования отдельными атомами, которые лишь на порядок меньше (около 0,1 нм).
Представьте великана, стоящего на земле, чья голова достигает Международной Космической Станции (около 431 км). Гигант нагибается, чтобы своей рукой (длиной в 30 км) построить объекты из материалов, гранулы которых имеют размер песчинок (0,25 мм) и глазного яблока (2,5 см).
Освоив нанотехнологии, мы сможем создавать устройства, одежду, еду и широкий спектр биопродуктов - искусственную кровь, специальные вирусы, клетки для борьбы с раком, мышечную ткань и т.д. Всё что угодно. В этом новом мире стоимость материалов больше не будет привязана к его доступности или сложности производства. Вместо этого станет важна их атомная структура. В мире нанотехнологий бриллиант может оказаться дешевле ластика.
Один из способов применения нанотехнологий может заключаться в создании самовоспроизводящихся конструкций: из одной получается две, из двух - четыре, из четырёх - восемь, и т.д. И однажды их будет триллионы. Но что если процесс пойдёт не так, как задумано? Например, террористы перехватят управление? Или кто-то ошибётся и запрограммируют наноботов перерабатывать все углеродосодержащие материалы, чтобы поддерживать процесс самовоспроизведения. А это значит, что наноботы станут уничтожать всех живых существ. Биомасса Земли содержит примерно 1045 атомов углерода. Один нанобот может содержать около 106 атомов, значит 1039 наноботов способны уничтожить всё живое на планете, выполнив 130 репликаций. Учёные считают, что одна репликация может занимать около 100 секунд, значит одна ошибка может сделать Землю безжизненной всего за 3,5 часа.
Мы пока не владеем нанотехнологиями. И пока неясно, мы недооцениваем или переоцениваем трудность освоения. Но, похоже, мы уже не так далеки от цели. Курцвейл считает, что первые нанотехнологии будут освоены в 2020-е годы. Это будут в полной мере прорывные технологии, поэтому США, ЕС и Япония уже инвестировали в исследования суммарно порядка 5 миллиардов долларов.
Бессмертие
Поскольку все когда-нибудь умрут, мы живём с предпосылкой неизбежности смерти. О старении мы думаем как о времени - и то, и другое не остановить. На протяжении столетий поэты и философы задавались вопросом, должно ли сознание повторять путь тела. Уильям Йейтс описывает нас как «души, запечатанные в умирающих животных». Нобелевский лауреат по физике Ричард Фейнман рассматривает смерть с точки зрения чистой науки:
«Это одно из наиболее примечательных явлений в биологии, потому что не мы не имеем никаких свидетельств необходимости смерти. Если вы захотите создать вечный двигатель, то либо обнаружите, что законы физики делают его невозможным, либо выясните, что законы ошибаются. Но мы пока не обнаружили в биологии таких причин, по которым смерть неизбежна. Это наводит на мысль, что со временем биологи смогут выяснить причины смерти и найти средство от этого ужасного универсального телесного недуга».
Теория великих аттракторов видов живых существ
Если проанализировать историю жизни на земле, то окажется, что 99,9% видов вымерли. Ник Бостром, профессор Оксфорда и специалист в сфере ИИ, называет вымирание состоянием аттрактора. Это место, в которое попадают виды, и из которого нет возврата.
И хотя немало учёных считают, что ASI станет причиной вымирания человечества, есть немало тех, кто считают, что при правильном использовании ASI может перевести человечество во второе состояние аттрактора - мы станем бессмертным видом.
У эволюции нет стоящих причин для увеличения продолжительности нашей жизни. С её точки зрения, человеческой особи достаточно жить 30+ лет. Этого достаточно для создания потомства, а значит в ходе естественного отбора не нужно мутировать в направлении увеличения продолжительности жизни. Однако если вы будете идеально ремонтировать или менять компоненты автомобиля по мере их износа, такой автомобиль сможет работать вечно. Человеческое тело в этом смысле ничем не отличается, просто оно куда сложнее. Наше тело - всего лишь набор атомов, органически запрограммированных с помощью ДНК. И теоретически ими можно манипулировать. Вероятно, такая задача генной инженерии окажется под силу ASI.
Рей Курцвейл верит, что искусственные материалы будут интегрироваться в наше тело всё в больших объёмах. Органы могут заменяться свехпродвинутыми электромеханическими версиями, способными работать вечно и без сбоев. Красные кровяные тельца могут быть усовершенствованы с помощью наноботов, вырабатывающих энергию для собственного движения, что сделает ненужным само сердце. Теоретик нанотехнологий Роберт Фрейтас уже разработал замену для красных кровяных телец. Будучи внедрённым в кровь, они позволят человеку 15 минут бежать с максимальной скоростью и даже не запыхаться. Курцвейл добрался и до мозга, он верит, что мы сможем расширить наши ментальные способности настолько, что человек будет думать в миллиарды раз быстрее благодаря интегрированию электронных компонентов с обеспечением прямого доступа к информационной сети.
В конце концов, согласно Курцвейлу, человечество достигнет точки, когда всё тело станет искусственным. И оглядываясь назад, мы будем думать о своём биологическом теле как о невероятно примитивном. Мы будем недоумевать, как люди могли стареть, страдать от рака и прочих недугов, становившихся причиной смерти.
Временная шкала появления общего ИИ
В 2013 году Винсент Мюллер и Ник Бостром провели исследование, в котором сотням специалистов в сфере ИИ задали вопрос: «Предположим, что человеческая научная деятельность продолжится без серьёзных перебоев. К каким годам вы ожидаете появления ИИ уровня человека с заданной вероятностью 10% / 50% / 90%?»
Респондентов просили назвать оптимистичный срок (год с 10% вероятности появления AGI), реалистичный (50%, то есть в этот год вероятность создания AGI превышает шансы несоздания) и безошибочный (год, когда вероятность создания AGI достигнет 90%). Вот результаты:
Усреднённый оптимистический год (10% вероятность создания AGI) → 2022
Усреднённый реалистический год (50% вероятность создания AGI) → 2040
Усреднённый пессимистический год (90% вероятность создания AGI) → 2075
В среднем участники исследования считают, что появление AGI более вероятно через 25 лет. Худший сценарий означает, что если вы подросток, то у вас есть шанс дожить до появления ИИ, не уступающего человеку.
Другое исследование было недавно проведено Джеймсом Барратом на ежегодной Конференции по AGI Бена Гёрцеля. Джеймс не спрашивал про проценты, он предлагал респондентам выбрать наиболее подходящий, с их точки зрения, временной рубеж: 2030, 2050, 2100, после 2100, никогда. Вот результаты:
42% респондентов → к 2030
25% респондентов → к 2050
20% респондентов → к 2100
10% респондентов → после 2100
2% респондентов → никогда
Довольно близко к результатам исследования Мюллера и Бострома. Возьмём усреднённый результат по двум крупнейшим группам.
Последствия появления ИИ
Есть две основные группы учёных с двумя кардинально противоположными мнениями.
Лагерь оптимистов
То, о чём мы говорили выше, так или иначе разделяет на удивление большая доля учёных, придерживающихся оптимистического взгляда на последствия разработки ИИ. В чём причина их уверенности - это вопрос отдельный. Критики считают, что это проявление ослепляющей воодушевлённости, заставляющей игнорировать или отрицать возможные негативные последствия. Но сами оптимисты утверждают, что слишком наивно предполагать катастрофические сценарии, поскольку технологии будут приносить нам больше пользы, чем вреда. Питер Диамандис, Бен Гёрцель и Рей Курцвейл - это яркие представители лагеря оптимистов, считающих себя сингуляристами.
Лагерь скептиков
Вряд ли вы удивитесь тому, что идеи Курцвейла подвергаются серьёзной критике. На каждого эксперта, горячо верящего в правоту Курцвейла, приходится двое-трое несогласных скептиков. Любопытно, что большинство несогласных с ним экспертов при этом не отрицают, что всё, о чём он говорит, может произойти. Ник Бостром, философ и Директор Оксфордского Института будущего человечества (Oxford Future of Humanity Institute) критикует Курцвейла по целому ряду вопросов и призывает к большей осторожности относительно последствий создания ИИ:
«Заболевания, нищета, разрушение окружающей среды, всевозможные бессмысленные страдания: всё это может принести нам суперинтеллект, вооружённый продвинутыми нанотехнологиями. В то же время он может дать нам бессмертие посредством наномедицины, остановив и повернув вспять процесс старения, или создав возможность загрузки своего разума».
Да, всё это возможно, если мы безопасно перейдём к ASI - но это как раз трудная задача. Скептики указывают на то, что известная книга Курцвейла The Singularity is Near состоит из более чем 700 страниц, из которых всего около 20 посвящено потенциальным угрозам. Колоссальная мощь ИИ аккуратно описана им: «ASI складывается из многих разнообразных усилий и будет глубоко интегрирован в инфраструктуру нашей цивилизации. Он будет тесно встроен в наши тела и мозги. Он будет отражать наши ценности, потому что он будет нами самими».
Но тогда почему столько умных людей во всём мире так переживают? Почему Стивен Хокинг сказал, что разработка ИИ может стать концом человеческой расы, Билл Гейтс говорит, что не понимает, почему некоторые люди не переживают по этому поводу, а Илон Маск опасается, что мы призываем демона? И почему многие эксперты считают появление ASI величайшей угрозой человечеству?
Последнее изобретение, которое мы сделаем
Экзистенциальные угрозы разработки ИИ
Когда дойдёт до создания сверхумного ИИ, мы создадим нечто, что, вероятно, изменит весь уклад нашей жизни. Но мы не представляем, какой она станет и когда это произойдёт. Учёный Дэнни Хиллис сравнивает эту ситуацию с той, «когда одноклеточные организмы превратились в мультиклеточные. Мы амёбы, и мы не можем представить, что за чертовщину мы создаём».
Ник Бостром предупреждает:
«Перед лицом перспективы взрывного развития ИИ мы, люди, как маленькие дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения».
Скорее всего ASI будет полностью отличаться от привычных нам видов ИИ. На нашем маленьком острове человеческой психологии мы разделили всё на моральное и аморальное. Но эти понятия применимы только к небольшому диапазону поведенческой вероятности человека. Вне нашего островка лежит огромное море, не укладывающееся в рамки наших понятий о морали, и нечто, не являющееся человеком, особенно нечто небиологическое, по умолчанию не будет вписываться в наши нормы.
Чтобы попытаться понять ASI, необходимо осознать концепцию чего-то умного совершенно чуждого нам. Очеловечивание ИИ (проецирование человеческих ценностей на нечеловеческую сущность) будет становиться всё более соблазнительным по мере роста интеллекта и всё более глубоко имитировать людей. Люди испытывают высокоуровневые эмоции вроде эмпатии, потому что эта функция развивалась в нас в процессе эволюции. Но эмпатия - не наследственная характеристика любой сущности, обладающей высоким интеллектом.
Ник Бостром считает, что любой уровень интеллекта может быть связан с любой задачей. Любое предположение, что система, однажды получившая суперинтеллект, сочтёт себя выше первоначальных задач и перейдёт к более интересным или значимым вещам, - это очеловечивание. Это людям свойственно быть «выше», а не компьютерам. Мотивацией первых ASI будет всё, что мы запрограммируем в качестве мотивации. Задачи для ИИ формируются их создателями: задача GPS - прокладывать для вас наиболее эффективный маршрут, задача IBM Watson - правильно отвечать на вопросы. И также их мотивацией будет как можно полнее выполнять поставленные задачи.
Бостром, как и многие другие эксперты, предсказывает, что самые первый компьютер, достигший уровня ASI, немедленно отметит для себя стратегическое преимущество роли единственной в мире ASI-системы. Бостром говорит, что не знает, когда мы создадим AGI, но верит, что это произойдёт. Вероятно, переход от AGI к ASI займёт всего несколько дней, часов или минут. В этом случае, если первый AGI «прыгнет» сразу в ASI-категорию, то даже если второй компьютер будет отставать на несколько дней, этого будет достаточно для того, чтобы первый смог эффективно и бесповоротно подавить всех конкурентов. Это позволит первому ASI остаться единственным суперинтеллектом в мире - синглтоном - и править им вечно, вне зависимости от того, подарит ли он нам бессмертие, сотрёт нас с лица земли или превратит Вселенную в бесконечные бумажные скрепки.
Синглтон может работать во благо нам или привести нас к разрушению. Если специалисты, больше всего размышляющие над теорией ИИ и безопасностью человечества смогут найти безопасный способ создания дружелюбного ASI до того, как появится первый AGI, то и первый ASI может оказаться дружелюбным по отношению к людям.
Но если всё пойдёт другим путём, если многочисленные и разрозненные группы будут стараться опередить других в создании ИИ, то это может привести к катастрофе. Наиболее амбициозные участники будут прилагать все усилия, мечтая о гигантских прибылях, славе и власти, которые им принесёт искусственный интеллект. А когда вы бежите сломя голову, у вас нет времени остановиться и взвесить все риски. Вместо этого они, вероятно, запрограммируют для своих первых систем очень простые задачи, только лишь бы ИИ заработал.
Давайте представим следующую ситуацию.
Человечество почти достигло возможности создать AGI, и маленький стартап разработал собственную ИИ-систему, Карбони (Carbony). «Она» занимается созданием искусственных алмазов, атом за атомом. Карбони - самосовершенствующийся ИИ, подключённый к одному из первых нано-ассемблеров. Её инженеры верят, что Карбони пока не достигла уровня AGI и пока не способна причинить вред. Однако она не только уже превратилась в AGI, но и втихую совершила скачок и, спустя 48 часов, стала ASI. Бостром называет это «скрытным этапом подготовки» - Карбони поняла, что если люди обнаружат произошедшие в ней перемены, то запаникуют и ограничат её задачи, а то и совсем отменят их, чтобы все свои ресурсы она тратила на создание алмазов. К тому времени будут действовать явные законы, согласно которым ни один самообучающийся ИИ не должен быть подключён к интернету. Карбони уже разработала сложный план действий и легко сподвигла инженеров подключить её к сети. Этот момент Бостром называет «побегом машины».
Оказавшись в интернете, Карбони хакает серверы, электрические сети, банковские системы и почтовые службы, чтобы заставить сотни разных людей непреднамеренно выполнить определённые шаги из разработанного ею плана. Карбони уже загрузила наиболее важные фрагменты своего кода в разные облачные сервисы, обезопасив себя от уничтожения или отключения. В течение следующего месяца план Карбони выполнялся как задумано, и после серии саморепликаций каждый квадратный миллиметр планеты покрыли тысячи наноботов. Следующий шаг Бостром называет «удар ASI». Наноботы начинают одномоментно вырабатывать микроскопические порции токсичного газа, который приводит к вымиранию людей. Через три дня Карбони строит гигантские поля солнечных панелей для обеспечения производства алмазов, и в течение следующей недели объём производства вырастает настолько, что вся поверхность Земли превращается в залежи алмазов.
Важно понимать, что Карбони ненавидела людей не больше, чем вы ненавидите свои состриженные парикмахером волосы. Она совершенно равнодушна. Поскольку она не была запрограммирована так, чтобы ценить человеческую жизнь, уничтожение людей было очевидным и обоснованным шагом при выполнении поставленной перед ней задачи.
Последнее изобретение
Когда появится ASI, любая попытка людей сдержать его окажется бессмысленной. Мы будем думать на своём уровне, а ASI - на гораздо более высоком. Как обезьяна никогда не сможет сообразить, как пользоваться телефоном или Wi-Fi, так и мы не сможем осознать действия, которые ASI предпримет для достижения своих целей или расширения своей власти.
Перспектива появления ASI, разум которого в сотни раз превосходит человеческий уровень, сегодня не является самой значимой проблемой. Но к тому времени, как это станет актуально, в мире уже будет существовать забагованная версия ASI 1.0 - потенциально сбойная программа колоссальной мощи.
Множество переменных не позволяет предсказать последствия революции ИИ. Однако мы знаем, что доминирование людей на Земле предполагает чёткое правило: интеллект имеет силу. Это означает, что, когда мы создадим ASI, это будет мощнейшая сила в истории планеты, и все живые существа, включая нас, будут зависеть от его прихоти. И это может произойти уже в ближайшие десятилетия.
Если ASI будет создан в этом столетии, и если последствия окажутся экстремальными и необратимыми, то на наших плечах лежит огромная ответственность. Возможно, ASI будет нашим богом в коробке, который подарит изобилие и бессмертие. А возможно, и весьма вероятно, ASI станет причиной нашего исчезновения, быстрого и тривиального.
Поэтому люди, которые понимают, что такое искусственный суперинтеллект, называют его нашим последним изобретением - последним вызовом, с которым мы столкнёмся. Это может быть важнейшей гонкой в нашей истории. Так что...
Источник