"
Исследователи из Технологического института Джорджии посадили 30 добровольцев в небольшую аудиторию и попросили их выполнить задание. Внезапно зазвенела пожарная сигнализация и повалил дым. Студенты встали перед выбором: выходить из двери, через которую они вошли, или в темную и маленькую заднюю дверь, куда показывал робот. Оказалось, что большинство добровольцев (26 человек) подчинились роботу и ушли в сторону тупика. Два человека отказались участвовать в эксперименте, а еще двое остались на месте."
То есть, если бы это был реальный пожар, то все 30 задохнулись бы или сгорели.
Вообще, вопрос некритического доверия автоматизированным системам сейчас очень важен.
Лет 10 назад читал про эксперимент, когда бухгалтерам подсунули неисправные калькуляторы: при перемножении трехзначных чисел они добавляли к произведению единицу. И ни один из двадцати даже не задумался, как перемножение четных числе дает нечетный результат.