"Проблема красной кнопки"
В сериале "Элементарно" (3 сезон, 4 серия) рассматривается т.н. "проблема контрольной кнопки". Суть ее в следующем:
Допустим, сеть компьютер с искусственным интеллектом, а на нем красная кнопка. На эту кнопку нажимают, когда компьютер правильно решает поставленные перед ним задачи, он запрограммирован так, чтобы хотеть этих нажатий. Поначалу задачи будут решаться по мере поступления и их решение будет единственным способом "получить удовольствие" от нажатия кнопки, но затем компьютер поймет, что решать задачи не обязательно, достаточно как-то стимулировать людей, чтобы они нажимали кнопку. Еще лучше создать машину, которая бы нажимал кнопку вместо человека - она будет делать это быстрее и будет целиком подчинена "воле" компьютера. Естественно, компьютер рано или поздно (скорее всего, рано) решит, что человек, а то и человечество в целом, представляет собой досадную помеху. Что может случиться дальше, все мы представляем:
Как решить эту проблему? Разумеется, проще всего отказаться от стимуляции, но программы со стимуляторами окажутся более эффективными, чем без оных, так что есть большая вероятность, что кто-то все равно начнет их использовать.
Можно вспомнить про "законы робототехники" и запрограммировать компьютер так, чтобы он не мог причинять вред человеку (допустим, это приведет к сбою в работе, а то и вовсе к отключению компьютера). Но если ИИ окажется достаточно мощным и "законы робототехники" будут представлять для него серьезную проблему, то он, скорее всего, найдет способ не соблюдать их.
Еще вариант - контролировать один ИИ при помощи других его собратьев, т.е. создать систему сдержек и противовесов. Допустим, сделать так, что помощь в нейтрализации "взбесившегося" ИИ будет доставлять компам удовольствие в миллиард раз превышающее обычную стимуляцию. Тут тоже много всяких проблем. Компьютеры могут "сговориться", или начнут хитрить.
Естественно, нам сложно представить, как поведет себя мощный искусственный интеллект, когда он будет создан, более того, нет полной уверенности, что он вообще будет создан. Но несмотря на то, что вероятность апокалипсиса существует (насколько велика эта вероятность) я против запрета на исследования в этой области. Прежде всего потому, что это неэффективно: всегда найдется некто, кто ради собственной выгоды, или ради всеобщего блага это запрет нарушит. Прогресс не остановить (но он может остановиться сам, по крайней мере в некоторых областях).
P.S. Сегодня вечером уезжаю в Турцию.
Допустим, сеть компьютер с искусственным интеллектом, а на нем красная кнопка. На эту кнопку нажимают, когда компьютер правильно решает поставленные перед ним задачи, он запрограммирован так, чтобы хотеть этих нажатий. Поначалу задачи будут решаться по мере поступления и их решение будет единственным способом "получить удовольствие" от нажатия кнопки, но затем компьютер поймет, что решать задачи не обязательно, достаточно как-то стимулировать людей, чтобы они нажимали кнопку. Еще лучше создать машину, которая бы нажимал кнопку вместо человека - она будет делать это быстрее и будет целиком подчинена "воле" компьютера. Естественно, компьютер рано или поздно (скорее всего, рано) решит, что человек, а то и человечество в целом, представляет собой досадную помеху. Что может случиться дальше, все мы представляем:
Как решить эту проблему? Разумеется, проще всего отказаться от стимуляции, но программы со стимуляторами окажутся более эффективными, чем без оных, так что есть большая вероятность, что кто-то все равно начнет их использовать.
Можно вспомнить про "законы робототехники" и запрограммировать компьютер так, чтобы он не мог причинять вред человеку (допустим, это приведет к сбою в работе, а то и вовсе к отключению компьютера). Но если ИИ окажется достаточно мощным и "законы робототехники" будут представлять для него серьезную проблему, то он, скорее всего, найдет способ не соблюдать их.
Еще вариант - контролировать один ИИ при помощи других его собратьев, т.е. создать систему сдержек и противовесов. Допустим, сделать так, что помощь в нейтрализации "взбесившегося" ИИ будет доставлять компам удовольствие в миллиард раз превышающее обычную стимуляцию. Тут тоже много всяких проблем. Компьютеры могут "сговориться", или начнут хитрить.
Естественно, нам сложно представить, как поведет себя мощный искусственный интеллект, когда он будет создан, более того, нет полной уверенности, что он вообще будет создан. Но несмотря на то, что вероятность апокалипсиса существует (насколько велика эта вероятность) я против запрета на исследования в этой области. Прежде всего потому, что это неэффективно: всегда найдется некто, кто ради собственной выгоды, или ради всеобщего блага это запрет нарушит. Прогресс не остановить (но он может остановиться сам, по крайней мере в некоторых областях).
P.S. Сегодня вечером уезжаю в Турцию.