Безопасность машинного интеллекта должна быть инженерной рутиной!

[ailev]

Победы системы машинного обучения AlphaGo над чемпионом мира по Го привели к ожидаемому результату: у начальника DeepMind спрашивают не столько "как вам это удалось" (к чудесам-то привыкли!), сколько "существует ли опасность для человечества" и "как быть со сверхразумом" (вот тут по-русски пересказ статьи из Гардиан

Comments

[lseder]

неудачный термин "машинный интеллект".
при взгляде издалека на текст, мозг распознает как "мышиный" )

[ailev]

По мне так слово "искусственный" много хуже.

[palex]

Поскольку экспансия ИИ неизбежна, предложил в http://edgeways.ru.mastertest.ru/forum11/read.php?15,649823,651742#msg-651742 такую последовательность:

На Земле остается достаточное для людей количество компьютеров;

Основная библиотека ИИ размещается на Луне на глубине с генетическим воспитанием новых ИИ другими компьютерами-родителями. Поддерживаются филиалы библиотеки в разных точках поверхности. Людям предлагаются мультимедийные индивидуальные экскурсии по Луне;

Создаются рудники на Меркурии, колонии на Фобосе и Деймосе для поддержки человеческих колоний на Марсе;

Происходит предоставление Маленьким Принцам личных астероидов;

Колонизация колец Сатурна;

и т.д.

В связи с отсутствием топлива межпланетные перелеты осуществляются на Солнечных парусах с использованием резонанса

[perepertoz]

В связи с отсутствием топлива межпланетные перелеты осуществляются
----
при помощи вритуальных очков/костюмов/etc :DDD

[a2danov]

задержка передачи сигнала мешает управлению удаленными объектами через VR

[obidam_net]

Обеспечение классической безопасности - это действительно, в основном, инженерная задача. Журналисты же и "общественность" обеспокоены тенденциями немного иного рода, а именно тем, кто в перспективе будут заказчиками этой безопасности. Все идет к тому, что главными заказчиками постепенно станут именно компьютерные системы, за счет безопасности человека. И надо понять, как к этому относиться. Скоро или не скоро это произойдет - это не столь важно.

[ailev]

Так это ведь человек человеку волк, разве нет? Главными заказчиками уже давно стали человеки, за счёт безопасности других человеков. Так что я явного ухудшения ситуации не усматриваю.

[obidam_net]

Если рассматривать с качественной точки зрения, то ситуация давно знакомая и ничего нового в ней нет. Ухудшится ситуация с количественной точки зрения. Все человеки имеют сопоставимые параметры обучаемости, поэтому конкурирующие социальные группы имеют возможность договариваться, воспринимать друг у друга лучшие идеи, взаимно обучаться и догонять друг друга в развитии. Перспективный машинный интеллект человеки догнать будут не в силах, что победа AlphaGo ярко демонстрирует уже сейчас

[ailev]

А мне вполне по себе. Какая разница, делать мне учеников, превосходящих учителя в мясе и того же биологического вида, или на другом носителе? ;-)

Можно ещё поехидничать по линии евгеники (только голым пенисом в необработанной вагине действовать, или таки вмешиваться в процесс для отбора эмбрионов получше? Или не только отбирать эмбрионы, но и создавать их? Или не только эмбрионами ограничиваться? Тогда чем плох будет сверхинтеллект в кремнии и с моторчиками?).

В России людские массы отвечают на эти вопросы одним способом, а в Китае, например, другим. А если брать не массы, то у каждого своя точка зрения. И ваша совсем необязательно совпадает с моей. ;)