Ну, а нам-то, нам-то среди роботов
В отличие от Ника Бострома, бестселлер которого мы здесь уже обсуждали, Стюарт Рассел - не философ, а bona fide компьютерщик, разработчик ИИ, и знает дело из первых рук. Уважаемый 109 отыскал его книжку, предназначенную для чайников широкой аудитории, и она понравилась мне больше, чем трактат Бострома, вышедший за пять лет до этого.
Основная ее тема та же: как нам обезопасить себя от ИИ? Но, в отличие от Бострома, Рассел сначала кратко излагает историю попыток создания ИИ. Со времен Аристотеля золотым стандартом мышления считали логику и сначала пытались воспроизвести в железе именно ее. К 1980-м пришло понимание (Рассел связывает его с работами Джуды Перла), что логики тут недостаточно: она требует определенности, а в реальном мире мы имеем дело лишь с вероятностями. А чтобы избежать любимых фантастами апокалипсических сценариев вроде превращения всей планеты в скрепки, компьютерам начали предписывать многомерную «функцию полезности» (utility function) вместо одной фиксированной цели (goal).
Но и такую функцию невозможно задать раз и навсегда: наши приоритеты постоянно меняются непредсказуемым образом, в зависимости от непредсказуемых обстоятельств. Порой мы даже сами их не осознаем - как же мы можем задать их компьютеру? Используя «обучение с обратным подкреплением» (inverse reinforcement learning), отвечает Рассел, то есть, позволив компьютеру анализировать наши поступки и самому выявлять наши предпочтения.
Схема inverse reinforcement learning для самоходных автомобилей
(с сайта Shimosaka Research Group)
А чтобы обезопасить нас от «восстания машин», Рассел предлагает свои «три закона робототехники», предназначенные, однако, не роботам, как азимовские, а разработчикам ИИ:
1) Единственной задачей ИИ должна быть максимальная реализация наших, человеческих, предпочтений;
2) Исходно машина не должна знать, в чем заключаются эти предпочтения;
3) Источником знаний машины о наших предпочтениях должно служить наше поведение.
Увы, пишет Рассел, пока что компьютерные алгоритмы очень плохо умеют анализировать человеческое поведение. К тому же нас ведь уже восемь миллиардов, и предпочтения у всех разные - а порой и противоположные, как же быть? У Рассела нет ответа на этот вопрос: решения, которые он рассматривает, не кажутся эффективными даже ему самому.
На мой взгляд, в самой идее предоставления машинам права решать за нас есть нечто очень, очень сомнительное. Акт волеизъявления, возможность поступать так, как ты, а не кто-то другой, считаешь нужным - основа человеческой психики. Даже если эта возможность - иллюзия, как полагают некоторые, ее утрату мы воспринимаем очень болезненно. В сложном сегодняшнем мире нам и так постоянно приходится обращаться за помощью к экспертам. Не приведет ли распространение ИИ к тому, что у нас вообще не останется возможностей для проявления собственной воли?