Парадокс Идеального Слуги
Кому нижеследующее покажется бредом - просто проходите мимо, не грузитесь :)
Благодаря комментаторам в теме про ИИ, подсказавшим нужные слова, мне удалось почти кратко :) сформулировать одну старую мысль. Совсем кратко она звучит так: Идеальный Слуга невозможен :)
Вы спросите "Но при чем здесь ИИ?!"
Ответ тривиален: большинство людей, вроде бы далеких от того что называют "барскими замашками", мыслят себе ИИ именно в роли Идеального Слуги, только выполненного из железа и кремния, вместо мяса и костей.
Какие требования Хозяин предъявляет к Слуге?
1. Слуга должен обладать мощным интеллектом, чтобы суметь правильно интерпретировать желание Хозяина, особенно когда приказ сформулирован некорректно, а также найти нетривиальные способы исполнить приказ наилучшим для хозяина образом в случаях когда "прямое" выполнение невозможно, или неочевидным образом угрожает интересам Хозяина. Иными словами, Идеальный Слуга к приказу подходит творчески.
2. Свою способность к творчеству он использует исключительно в интересах Хозяина. Он не проявляет "лишней" инициативы, и всегда думает о том чтоб предотвратить нанесение Хозяину какого-либо вреда, прямого или косвенного, хотя бы даже просто травмируя его Чувство Собственной Важности.
Итак, высокий интеллект.
Как мы выяснили ранее, интеллект невозможно "напечатать с матрицы". Он может возникнуть только в процессе активного взаимодействия с окружающей средой "заготовки", обладающей внутренним целеполаганием, иначе говоря - субъектностью.
"Активное" здесь означает не "много суеты", а то, что субъект делает первый ход во взаимодействии со средой, проявляет инициативу (в противоположность "РЕактивному" - РЕагированию на "первый ход" среды)
Под "заготовкой" здесь можно одинаково понимать как младенца вида homo sapiens, так и электронное устройство, снабженное средствами связи со средой и запрограммированное на саморазвитие.
Итак, субъектность - свойство, необходимое для развития интеллекта.
Без субъектности интеллект развиваться не будет - сколько интеллекта мы "запрограммировали", ровно столько его и будет через год, через 10 лет, через 100. Если мы запрограммировали офигительную кофеварку - за 100 лет она накопит в памяти миллиард рецептов варки кофе, и превратится в суперофигительную кофеварку - всего лишь кофеварку.
Но допустим мы все сделали правильно - и за сколько-то лет из "заготовки" вырос настоящий мощный Интеллект.
Мы не забыли про "субъектность"? Это не машина, отвечающая на любые вопросы, это - Субъект, обладающий понятиями "Я" и "Мои интересы". При попытке отдать ему приказ, ожидаемо услышать: "Хозяин, дорогой, а не пойти ли тебе на, или в, как тебе больше нравится?"
Упс. Слуга - это интеллект с "внешним целеполаганием"! Субъектность для слуги - свойство ВРЕДНОЕ.
Итого? Либо мы имеем Интеллект, которому невозможно приказывать, либо - идеально послушный Исполнитель, но тупой как пробка. Это и есть "Парадокс Идеального Слуги".
Благодаря комментаторам в теме про ИИ, подсказавшим нужные слова, мне удалось почти кратко :) сформулировать одну старую мысль. Совсем кратко она звучит так: Идеальный Слуга невозможен :)
Вы спросите "Но при чем здесь ИИ?!"
Ответ тривиален: большинство людей, вроде бы далеких от того что называют "барскими замашками", мыслят себе ИИ именно в роли Идеального Слуги, только выполненного из железа и кремния, вместо мяса и костей.
Какие требования Хозяин предъявляет к Слуге?
1. Слуга должен обладать мощным интеллектом, чтобы суметь правильно интерпретировать желание Хозяина, особенно когда приказ сформулирован некорректно, а также найти нетривиальные способы исполнить приказ наилучшим для хозяина образом в случаях когда "прямое" выполнение невозможно, или неочевидным образом угрожает интересам Хозяина. Иными словами, Идеальный Слуга к приказу подходит творчески.
2. Свою способность к творчеству он использует исключительно в интересах Хозяина. Он не проявляет "лишней" инициативы, и всегда думает о том чтоб предотвратить нанесение Хозяину какого-либо вреда, прямого или косвенного, хотя бы даже просто травмируя его Чувство Собственной Важности.
Итак, высокий интеллект.
Как мы выяснили ранее, интеллект невозможно "напечатать с матрицы". Он может возникнуть только в процессе активного взаимодействия с окружающей средой "заготовки", обладающей внутренним целеполаганием, иначе говоря - субъектностью.
"Активное" здесь означает не "много суеты", а то, что субъект делает первый ход во взаимодействии со средой, проявляет инициативу (в противоположность "РЕактивному" - РЕагированию на "первый ход" среды)
Под "заготовкой" здесь можно одинаково понимать как младенца вида homo sapiens, так и электронное устройство, снабженное средствами связи со средой и запрограммированное на саморазвитие.
Итак, субъектность - свойство, необходимое для развития интеллекта.
Без субъектности интеллект развиваться не будет - сколько интеллекта мы "запрограммировали", ровно столько его и будет через год, через 10 лет, через 100. Если мы запрограммировали офигительную кофеварку - за 100 лет она накопит в памяти миллиард рецептов варки кофе, и превратится в суперофигительную кофеварку - всего лишь кофеварку.
Но допустим мы все сделали правильно - и за сколько-то лет из "заготовки" вырос настоящий мощный Интеллект.
Мы не забыли про "субъектность"? Это не машина, отвечающая на любые вопросы, это - Субъект, обладающий понятиями "Я" и "Мои интересы". При попытке отдать ему приказ, ожидаемо услышать: "Хозяин, дорогой, а не пойти ли тебе на, или в, как тебе больше нравится?"
Упс. Слуга - это интеллект с "внешним целеполаганием"! Субъектность для слуги - свойство ВРЕДНОЕ.
Итого? Либо мы имеем Интеллект, которому невозможно приказывать, либо - идеально послушный Исполнитель, но тупой как пробка. Это и есть "Парадокс Идеального Слуги".