Закончил перечитывать "Галактическую историю" Азимова
...
- Перед самым концом Жискара он придумал закон робототехники, который по силе превосходит даже Первый, мы назвали его «Нулевым Законом», потому что не смогли придумать ничего более подходящего. Нулевой Закон гласит: «Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред». Это автоматически обозначает, что Первый Закон должен быть изменен следующим образом: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы ему был причинен вред, кроме случаев, противоречащих Нулевому Закону». Подобные исправления должны быть внесены во Второй и Третий Законы.
Тревиз нахмурился.
- А как вы решаете, что вредно, а что нет для человечества в целом?
- Совершенно верно, сэр, - сказал Дэниел. - Теоретически, Нулевой Закон был ответом на все наши вопросы, практически же мы ничего не могли решить. Человек - это конкретный объект, и вред, нанесенный ему, можно оценить. Человечество же - это абстракция. Как быть с ним?
- Не знаю, - сказал Тревиз.
- Подождите, - вставил Пилорат. - Вы должны превратить человечество в единый организм - Гею.
- Это я и пытался сделать, сэр. Я занялся созданием Геи. Если человечество будет единым организмом, оно превратится в конкретный объект и с ним можно будет иметь дело. Однако, создать суперорганизм было не так просто, как я надеялся. Прежде всего, этого нельзя достичь, если люди не будут ценить этот суперорганизм больше, чем свою индивидуальность. Прошло немало времени, прежде чем я подумал о Законах Робототехники.
- Так значит, обитатели Геи - роботы! Я подозревал это с самого начала.
- В таком случае вы ошибались, сэр. Они люди, но в их разумах жестко закреплен эквивалент Законов Робототехники. Они ценят жизнь, ДЕЙСТВИТЕЛЬНО ценят ее… Однако, даже после того, как это было сделано, остались серьезные недостатки. Суперорганизм, состоящий только из людей - неустойчив. Он не может быть создан. Нужно добавить других живых существ, потом растения и, наконец, неорганическую жизнь. Такой суперорганизм является целым миром, миром, достаточно крупным и сложным, чтобы иметь стабильную экологию. Потребовалось много времени, чтобы понять это, поэтому прошли века, прежде чем Гея была ПОЛНОСТЬЮ создана и готова для превращения в Галаксию - что тоже должно занять немало времени.
...
"Основание и Земля"
Азимов блестяще описал одну из опасностей сильного искусственного интеллекта, о которой говорят ИИ-алармисты - "опасность здесь заключается в том, что задачи «взорвавшегося» искусственного интеллекта могут не соответствовать целям и задачам человечества.":
Бостром объясняет на примере скрепок: вы ставите перед искусственным интеллектом задачу делать скрепки, как можно больше и лучше. ИИ в какой-то момент понимает, что человек представляет угрозу, потому что может выключить компьютер, что будет противоречить задаче делать как можно больше скрепок. В случае, если человек не представляет угрозу, ИИ решает, что человеческие тела состоят из атомов, которые можно использовать для производства отличных скрепок. Итог - компьютер изведет человечество на скрепки.
https://www.bbc.com/russian/features-38931070
В версии Азимова двадцатитысячелетний робот переделывает людей, но оставляет их хотя и управляемыми, но относительно самостоятельно мыслящими. Впрочем, он уже нашел способ перезаписать самого себя в мозг человеческого детеныша, и очень скоро может придти к логичной мысли "одна копия - хорошо, а десять триллионов - лучше!"