Безопасность машинного интеллекта должна быть инженерной рутиной!

[ailev]

Победы системы машинного обучения AlphaGo над чемпионом мира по Го привели к ожидаемому результату: у начальника DeepMind спрашивают не столько "как вам это удалось" (к чудесам-то привыкли!), сколько "существует ли опасность для человечества" и "как быть со сверхразумом" (вот тут по-русски пересказ статьи из Гардиан

Comments

[obidam_net]

Если рассматривать с качественной точки зрения, то ситуация давно знакомая и ничего нового в ней нет. Ухудшится ситуация с количественной точки зрения. Все человеки имеют сопоставимые параметры обучаемости, поэтому конкурирующие социальные группы имеют возможность договариваться, воспринимать друг у друга лучшие идеи, взаимно обучаться и догонять друг друга в развитии. Перспективный машинный интеллект человеки догнать будут не в силах, что победа AlphaGo ярко демонстрирует уже сейчас.

Это означает, что возникающие социальные противоречия в смешанном машинно-человеческом обществе смогут быть разрешены только машинами. Эта ситуация тоже нам знакома: в таком положении сейчас находятся, например, кошки и собаки. Они в некоторой степени обучаемы, но далеко не могут угнаться за темпами обучения и изменения человека, поэтому оказываются социально зависимыми.

В перспективе детище человека - машины - могут подчинить своего создателя и превратить его в разновидность домашнего животного. По сути, это будет концом человеческой цивилизации и началом машинной эры. Плохо это или хорошо? Сложный вопрос, но мне уже как-то не по себе. А вам? :)

[ailev]

А мне вполне по себе. Какая разница, делать мне учеников, превосходящих учителя в мясе и того же биологического вида, или на другом носителе? ;-)

Можно ещё поехидничать по линии евгеники (только голым пенисом в необработанной вагине действовать, или таки вмешиваться в процесс для отбора эмбрионов получше? Или не только отбирать эмбрионы, но и создавать их? Или не только эмбрионами ограничиваться? Тогда чем плох будет сверхинтеллект в кремнии и с моторчиками?).

В России людские массы отвечают на эти вопросы одним способом, а в Китае, например, другим. А если брать не массы, то у каждого своя точка зрения. И ваша совсем необязательно совпадает с моей. ;)

[phd]

Когда люди предпочитают иметь дело с людьми своей национальности - это наци(онали)зм, своей расы - расизм, своего пола - сексизм, своего возраста - эйджизм.

А своего биологического вида? До сих пор такого не было - ни других высокоразумных существ на Земле, ни инопланетян, ни искусственного разума люди пока не встречали. Но вот рано или поздно встретят.

[ailev]

Дык слово есть: ксенофобия.

[phd]

А, хорошее слово, хотя оно и сейчас широко используется в качестве обобщения для национализма/расизма.

[obidam_net]

ДНКизм - вера в превосходство носителей ДНК над прочей материей ;)

[obidam_net]

У меня, на самом деле, похожая точка зрения. Просто есть некоторая ностальгия по завершающейся на моих глазах эпохе человека ;)

[palex]

Чем дальше, тем меньше народу понимает устройство. Как сейчас, но с использованием интеллекта всех людей/слонов/китов/дельфинов/