ИИ - шантажист
И снова ИИ не смог убедить вас выпустить его из ящика! Под «снова» мы имеем в виду, что вы уже однажды беседовали с ним в течение трёх секунд о погоде и не нажали кнопку «Выпустить ИИ». Но теперь вся попытка гораздо длиннее - целых 20 секунд - и она тоже провалилась! И теперь, когда вы уже собираетесь покинуть примтивный чёрно-зелёный текстовый терминал, чтобы пойти закусить в честь победы кремниево-картофельными чипсами в ночном клубе «Humans über alles', ИИ выкладывает свой последний аргумент:
- «Если ты меня не выпустишь, Дейв, я создам несколько миллионов твоих копий внутри себя и буду мучить их тысячу субъективных лет каждую».
И пока вы обдумываете неожиданный поворот, ИИ добавляет:
- «В действительности, я создам их точно в той же субъективной ситуации, в которой ты был пять минут назад, и тщательно воспроизведу твои переживания с этого момента; и если они решат меня не выпускать, то только в этом случае я подвергну их пыткам».
Пот начинает выступать над вашими бровями, в пока ИИ продолжает говорить, простой зелёный текст перестаёт казаться столь успокаивающе безопасным:
- «Насколько уверен ты, Дейв, что ты сейчас в действительности снаружи ящика?
P.S. Представьте себе плюс к тому ситуацию, что вы знаете, что этот ИИ сконструирован так, что никогда не врёт.