Wireheading
У меня вышла статья. В ней я - вместе с соавтором Денкебергером - изучил вопрос о том, может ли придуманный Стругацкими универсальный наркотик "слег" привести к глобальной катастрофе.
С одной стороны - весь прогресс цивилизации - это прогресс в совершенствовании методов стимулирования центра удовольствий, и сверхтехнологии будущего сделают это легче легкого (нейроимполанты, виртуальная реальность, ГМО-растения).
А замыкание центра удовольствий ведёт к остановке любой практической дестяльности.
С другой стороны, уже есть героин, и человечество не вымерло.
Исходя из этого, мы можем вывести условия того, каким может быть опасный сверхнаркотик будущего и какой тип катастрофы он может вызывать.
Вряд ли он приведет к мгновенной катастрофе, но может служить фактром цивилизационного коллапса. Особую роль в этом играют методы стимуляции, которые плавно ведут к вреду здоровья и отключению от реальности, но в начале обещают выигрыш в продуктивности (как у нас сейчас антидепрессанты, курение, алкоголь, чтение соц. сетей).
Мгновенной эпидемии слега не будет, так как люди будут видеть последствия и боятся. Но если у человечества начнутся проблемы, то выстрелит накопленный запас технологий стимуляции центра удовольствй 'Overhang of technologies of pleasure-center stimulation' - как при закате Римской империи.
Однако в общем виде проблема существует даже для искусственного интеллекта, для которого придумана теорема Лебовски: любой достаточно сильный ИИ не будет решать проблемы сложнее, чем хакинг своей функции вознаграждения.
https://www.sciencedirect.com/science/article/abs/pii/S0016328723001192
https://philarchive.org/rec/TURWAA