Веселенькие сценарии Критических Ошибок AI (оригинал лежит
здесь - там их гораздо больше, я выбрал только 6, которые показались мне самыми интересными, и наводящими на размышления):
-----
1. Любое высказывание, которое может быть интерпретировано как желание, выполняется, независимо от истинных намерений говорившего.
2. AI ведет себя по отношению к каждому человеку не так, как этот человек хочет, чтобы AI себя вел, а в соответствии с тем, что человек от AI ожидает.
3. AI выбирает одного человека абсолютным правителем мира. Лотерея справедливая: вероятность быть выбранным равна для всех живущих на свете людей, включая младенцев, шизофреников и тинейджеров из стран Третьего Мира.
4. AI выполняет желания только тех людей, кто верит в его существование. Но при этом никогда не выполняет их таким образом, чтобы предоставить неопровержимые свидетельства своего существования скептически настроенным наблюдателям.
5. Всем людям одновременно предоставляются root-права в системе. Начинаются Core Wars!
6. AI определяет желания людей, задавая им замаскированные вопросы-аллегории. К примеру, AI говорит вам, что члены некоего племени !Кунг страдают от всевозможных болезней, однако если бы им рассказали о способностях AI, они бы испытали чрезвычайно сильный страх перед тем, что у них будет украдена душа вследствие появления перед видеокамерами AI. Пока что племя и не слышало о такой вещи, как видеокамера - их "страх" экстраполировал AI. И есть практически абсолютная уверенность в том, что члены племени в конце концов смогут понять, что видеокамеры не опасны, тем более, что человеческий глаз - в сущности, то же самое. Однако также есть практически полная уверенность в том, что если прямо сказать членам племени !Кунг о видеокамерах, то они испытают чрезвычайно сильный страх и предпочтут лучше умереть, только бы не появиться перед видеокамерой. Так что AI практически бессилен - он не может послать в эту местность ни одного бота, пока не разрешится моральная проблема фотографирования. AI обращается к вам за советом: гуманно ли предоставить медицинскую помощь, несмотря на страх перед фотографированием? Если вы говорите "да", то вас тихо, гладко, незаметно, загружают в комп.