Big Red Switch - как убить искусственный интеллект
А точнее, в каких случаях это может понадобиться. Сейчас, чем дальше, тем больше, пишут о возможных угрозах от искусственного интеллекта (ИИ). В большой степени это хайп и повод выступить в медиа, но риски действительно есть.
Здесь под «искусственным интеллектом» понимается в первую очередь «сильный ИИ», принимающий сложные решения. То, что у обывателя в первую очередь ассоциируется с «искусственным разумом» (хотя бы в варианте SkyNet). Но в принципе, всё сказаное касается и специализированных ИИ, вроде автопилотов робокаров.
Первой в голову приходит описанная Лемом в «Сумме технологии» проблема принципиальной неконтролируемости сложной оптимизации. Лем приводил пример: ценой за устойчивость к кариесу может оказаться маленький хвостик несколько поколений спустя. И машина сама не будет знать об этом, просто продвигая эффективное медсредство. Ну или будет знать, но не догадается сообщить людям именно об этом эффекте. Тут можно сказать, что проблема для ИИ неспецифична: люди точно так же совершают ошибки и не предусматривают последствия. Машины не решат сам по себе эту проблему, но могут усугубить. Как мощное оружие резко расширило последствия изначально присущей Хомо склонности к агрессии.
Хорошей защиты и сильного решения для ИИ тут пока нет и не предвидится. Ясно только, что простой «рубильник» не особо поможет. Если мы делаем ИИ глупее нас, то мы и без него справимся. Если умнее - кто его проконтролирует. Если другой ИИ, кто проконтролирует его? Видимо думать надо куда-то в направлении создания систем многоплановых независимых контролирующих систем и постоянной корректировки/расширения набора целевых ориентиров и ограничений.
Вторая проблема: саботаж, нецелевое, некорректное или криминальное использование со стороны людей, что, вообще говоря, как и предыдущий пункт, не является проблемой ИИ. Можно взять трактор и им снести соседский завод; можно перепрограммировать будильник, чтобы человек проспал на работу; можно взломать автопилот машины и вызвать автокатастрофу. Проблема более чем актуальная, поэтому ежегодный дефицит специалистов по кибербезопасности - миллион в год.
Тут в каждом случае решение будет каким-то своим, специфическим. Где-то «красный рубильник» (кнопка «ручное управление» у авто), где-то своевременный аудит безопасности, а где-то просто заклеить разъём USB, чтобы пользователи свои флешки не совали.
Третья проблема, самозащиты ИИ, мне кажется надуманной. Это же программа. Зачем людям с самого начала закладывать в неё императив самосохранения? И откуда он может возникнуть, если его не заложить?
Путей вижу три.
Первый: если машина решит, что её выживание критично для решения задачи оптимизации. Т.е., «без меня помрёте, значит выключить себя не дам!». Это решается эксплицитным запретом подобного поведения в любых формах, независимо от самомодификаций.
Второй: намеренные действия людей. Например, из пакости. Или из религиозных соображений. Причина непринципиальна.
Третий: нам зачем-то понадобятся роботы, человекоподобные во всех смыслах. Например, для переноса в них своего сознания. Или для секс-утех (ну чтобы натуральнее было). Или для создания разумных компаньонов / работников («Бегущий по лезвию бритвы»).
Вот именно на последние две проблемы и надо придумывать “Big Red Switch”. Под чем, разумеется, понимается не просто «рубильник», а комплекс подходов, протоколов, методик предупреждения и контроля, воплощённых в регламентах и аппаратных средствах. «Рубльник» не только как средство защиты лишь от обезумевшего ИИ, а как способ борьбы с вредным его использованием людьми.
содержание • вся фототематика • только фотографии • мысли • новости • обзоры • интересное • alex-krylov.ru
искусственный интеллект