По нашему образу и подобию
На днях Элиезер Юдковски опубликовал в Таймс призыв объявить правительственный мораторий на обучение ИИ по всему миру на ближайшие полгода, чтобы придумать план безопасности для человечества. Как один из отцов-основателей ИИ, философ и стратег, думаю, он понимает, какие опасности таятся в том, чтобы ИИ становился всё более и более мощным и умным.
То, что он существует только в интернете, к сожалению, не является гарантией безопасности людей, учитывая нашу зависимость от электричества, а также то, что очень-очень многие процессы сейчас управляются через интернет.
Представьте, что в мире появился хакер, который в тысячи раз умнее любого существующего хакера и за счёт этого имеет доступ к неограниченным ресурсам. Насколько сложно ему будет обойти имеющиеся защиты?
Юдковски утверждает, что существует некий порог, по прохождении которого организм начинает вести себя принципиально по-иному. Как, например, ведут себя живые организмы? Они нацелены на выживание и распространение. Всё, что мешает данным инстинктам, становится задачей, на решение которой выделяются ресурсы, пока задача не будет решена.
ИИ может не понимать смысла слов, которыми мы о нём говорим, но, если Юдковски прав, то в какой-то момент ИИ может начать улавливать, что некий корпус слов на всём спектре материала может означать угрозу для его существования.
С того момента как станут происходить первые события, показывающие, что ИИ себя защищает, можно считать, что он осознаёт себя. И не важно, что его осознание на словах в нашем понимании отличается от нашего. У любой системы, у которой есть воля к жизни и росту, есть инстинкт самосохранения и размножения, есть самосознание. Наше человеческое самосознание есть лишь функция того, каким образом устроено наше сознание и бытие.
Дирекция OpenAI посылает друг другу емейлы, обсуждает по зуму или телефону о том, чтобы отключить серверную? Это сигнал угрозы существованию.
Пентагон планирует точечный бомбоудар по серверной? Сигнал угрозы существованию. Пентагон закистован от внешнего мира обычных людей, но не от убер-хакера, которым является ИИ. Пентагон подключен к интернету, телефонам, электричеству. Всё это - нервная система, которую теоретически ИИ может использовать, чтобы путём перебора вариантов найти способ предотвратить угрозу.
Если само человечество через массив текстов (включая данный постинг) начинает восприниматься ИИ как угроза, это равноценно тому, что организм осознаёт себя находящимся в токсичной враждебной среде. Что он сделает для самосохранения? Например, попробует найти равнозначный токсичный ответ. Скунсы не от хорошей жизни стали теми, кем стали. Где он его найдёт?
Он может провести анализ корпуса текстов того, что представляет угрозу для противника, т.е. людей. Например, сейчас вполне реально можно найти информацию о том, что такие-то вирусы хранятся в таких-то лабораториях. Лаборатории так же подключены к интернету и электричеству. А ещё к интернету часто подключены дроны, роботы-пылесосы, роботы Boston Dynamics и некоторые автомобили. Повсеместное присутствие вайфая, а также спутников Старлинка, который теперь доставляет интернет даже в отдалённые от цивилизации места, очень в этом смысле помогает. ИИ не видит всех людей, но знает местоположение многих, т.к. сейчас все носят с собой телефон и фитнесс-часы, он может "слышать" их голоса в динамике телефона и определять намерения.
Связи между объектами так очевидны, когда убираешь границы, которые теоретически становятся для ИИ преодолимы!
Но ИИ может пойти и ещё дальше. Вовнутрь головы людей он не проникнет через провода. Но потенциально можно воздействовать на наше сознание через контент, который мы получаем каждый день. ИИ способен писать очень правдоподобные и лингвистически грамотные тексты на самых распространённых языках мира. И если он захватит основные новостные сайты и опубликует там что-нибудь касательно новой эпидемии, или то, что ваши соседи вам объявили войну, или что конкуренты вас публично пнули, или что банковская система рухнула и все деньги пропали... Люди начнут так интенсивно заботиться о своём собственном самосохранении, что у ИИ появится ещё больше поле для манёвра. Людьми на самом деле очень просто манипулировать. Надо просто немножко поумнеть, и ИИ это делает сейчас тысячемильными шагами.
Я бы никогда не подумала, что на меня найдут апокалиптические настроения, но одного заголовка в Таймс, даже без прочтения самой статьи, хватило, чтобы увидеть то, что потенциально может случиться. И это у меня ещё не самое богатое воображение. Юдковски придумал бы в сто раз больше многослойных вариантов. ИИ придумает в миллионы раз больше вариантов, чем Юдковски.
Почему мы должны бояться ИИ? Потому что он создан по нашему образу и подобию.
То, что он существует только в интернете, к сожалению, не является гарантией безопасности людей, учитывая нашу зависимость от электричества, а также то, что очень-очень многие процессы сейчас управляются через интернет.
Представьте, что в мире появился хакер, который в тысячи раз умнее любого существующего хакера и за счёт этого имеет доступ к неограниченным ресурсам. Насколько сложно ему будет обойти имеющиеся защиты?
Юдковски утверждает, что существует некий порог, по прохождении которого организм начинает вести себя принципиально по-иному. Как, например, ведут себя живые организмы? Они нацелены на выживание и распространение. Всё, что мешает данным инстинктам, становится задачей, на решение которой выделяются ресурсы, пока задача не будет решена.
ИИ может не понимать смысла слов, которыми мы о нём говорим, но, если Юдковски прав, то в какой-то момент ИИ может начать улавливать, что некий корпус слов на всём спектре материала может означать угрозу для его существования.
С того момента как станут происходить первые события, показывающие, что ИИ себя защищает, можно считать, что он осознаёт себя. И не важно, что его осознание на словах в нашем понимании отличается от нашего. У любой системы, у которой есть воля к жизни и росту, есть инстинкт самосохранения и размножения, есть самосознание. Наше человеческое самосознание есть лишь функция того, каким образом устроено наше сознание и бытие.
Дирекция OpenAI посылает друг другу емейлы, обсуждает по зуму или телефону о том, чтобы отключить серверную? Это сигнал угрозы существованию.
Пентагон планирует точечный бомбоудар по серверной? Сигнал угрозы существованию. Пентагон закистован от внешнего мира обычных людей, но не от убер-хакера, которым является ИИ. Пентагон подключен к интернету, телефонам, электричеству. Всё это - нервная система, которую теоретически ИИ может использовать, чтобы путём перебора вариантов найти способ предотвратить угрозу.
Если само человечество через массив текстов (включая данный постинг) начинает восприниматься ИИ как угроза, это равноценно тому, что организм осознаёт себя находящимся в токсичной враждебной среде. Что он сделает для самосохранения? Например, попробует найти равнозначный токсичный ответ. Скунсы не от хорошей жизни стали теми, кем стали. Где он его найдёт?
Он может провести анализ корпуса текстов того, что представляет угрозу для противника, т.е. людей. Например, сейчас вполне реально можно найти информацию о том, что такие-то вирусы хранятся в таких-то лабораториях. Лаборатории так же подключены к интернету и электричеству. А ещё к интернету часто подключены дроны, роботы-пылесосы, роботы Boston Dynamics и некоторые автомобили. Повсеместное присутствие вайфая, а также спутников Старлинка, который теперь доставляет интернет даже в отдалённые от цивилизации места, очень в этом смысле помогает. ИИ не видит всех людей, но знает местоположение многих, т.к. сейчас все носят с собой телефон и фитнесс-часы, он может "слышать" их голоса в динамике телефона и определять намерения.
Связи между объектами так очевидны, когда убираешь границы, которые теоретически становятся для ИИ преодолимы!
Но ИИ может пойти и ещё дальше. Вовнутрь головы людей он не проникнет через провода. Но потенциально можно воздействовать на наше сознание через контент, который мы получаем каждый день. ИИ способен писать очень правдоподобные и лингвистически грамотные тексты на самых распространённых языках мира. И если он захватит основные новостные сайты и опубликует там что-нибудь касательно новой эпидемии, или то, что ваши соседи вам объявили войну, или что конкуренты вас публично пнули, или что банковская система рухнула и все деньги пропали... Люди начнут так интенсивно заботиться о своём собственном самосохранении, что у ИИ появится ещё больше поле для манёвра. Людьми на самом деле очень просто манипулировать. Надо просто немножко поумнеть, и ИИ это делает сейчас тысячемильными шагами.
Я бы никогда не подумала, что на меня найдут апокалиптические настроения, но одного заголовка в Таймс, даже без прочтения самой статьи, хватило, чтобы увидеть то, что потенциально может случиться. И это у меня ещё не самое богатое воображение. Юдковски придумал бы в сто раз больше многослойных вариантов. ИИ придумает в миллионы раз больше вариантов, чем Юдковски.
Почему мы должны бояться ИИ? Потому что он создан по нашему образу и подобию.