Доклад был опубликован мной 1 октября 2023 года в закрытом сообществе "Основания". Сообразно правилам сообщества и принятой практике, я использую свое право опубликовать его открыто в своем журнале (с учетом, что обсуждение доклада внутри сообщества уже завершено).
В этот раз доклад публикуется, "как есть", без стилистической и орфографической правки. Буде в нем гостями найдены ошибки или ссылки на закрытые материалы " Оснований" - прошу не стесняться мне на них указывать, с тем, чтоб я мог внести коррективы.
=== Начало доклада ===
П р е д с е д а т е л ь
к о м и с с и и:
Вы читаете на нескольких языках, знакомы с высшей математикой и можете выполнять кое-какие работы. Считаете ли вы, что это делает вас Человеком?
О т а р к:
Да, конечно. А разве люди знают что-нибудь еще?
(Из допроса отарка. Материалы Государственной комиссии)
С. Гансовский, "День гнева" Перед тем, как дать обещаный перечень рисков -
I. ДИСКЛЕЙМЕР
Здесь не анализируются потенциальные технические ограничения для развития ИИ. В этом анализе "примем на слово" неявное допущение трансгуманистов о том, что снятие этих ограничений - вопрос времени, а не принципа. (Я надеюсь, что это допущение не реализуется; но, одновременно, признаю его весьма реалистичным.)
II. ТРЕХМИНУТКА СУХОЙ ТЕОРИИ
вкратце обрисую, что / для чего есть риск-менеджмент (к которому этот перечень нужен) и в чем он состоит.
Кто с теорией знаком или кому она просто не интересна - можете сразу перейти к перечню в Разделе III.
1) У каждого риска есть две вещи:
- оценка вероятности реализации (от 0 до 100% либо "неопределенная");
- оценка тяжести последствий.
Последняя в бизнесе выражается в деньгах (для умеренных рисков) + некоторый "абсолютный" уровень, на который относят все последствия, кои не хочется даже сравнивать между собой по тяжести ("фирму закроют", "гендиректора посадят", "погибнет сто человек" и т. д.).
В политике и госуправлении далеко не всё может конвертироваться в деньги; но какая-то умозрительная, ординальная шкала всё же имеется. Это может затруднять риск-менеджмент, но не настолько, чтоб от него совсем отказаться.
2) Далее риски выстраиваются по убыванию важности (для чего нужно спроецировать два измерения в одно, но это не принципиальная сложность). И, начиная от более к менее важным, на каждый риск выносится решение, что по его поводу делается до и / или после реализации. Например:
- отказ от рисковой деятельности (с целью исключения риска);
- профилактика риска (может нацеливаться как на снижение вероятности его наступления, так и на снижение тяжести последствий);
- передача риска (на другую организацию, скажем, передаем вопросы безопасности ЧОПу);
- принятие риска (резервируем ресурсы под обработку последствий).
До сего момента риск-менеджмент есть простая квинтессенция здравого смысла для работы с оценками вероятности реализации и тяжести последствий. Годится как для финансово-промышленных групп, так и для дачного ремонта.
Дальше дачные ремонты опустим. Поговорим о системном риск-менеджменте в сложных коллективах (организациях, проектных командах и т. д.)
3) По итогам риск-менеджмента в коллективе на каждый существенный риск должны появиться документально зафиксированные:
- владелец риска - товарищ, которому выделены ресурсы, чтобы риском управлять;
- ответственный за реакцию на риск (в смысле, на его реализацию);
- опережающие индикаторы риска;
- планируемая реакция при достижении индикаторами пороговых значений и т. д.
Это тоже квинтессенция здравого смысла, но чуть более сложная, в применении к организациям. Смысл тот, что на час "Ч" каждый должен иметь необходимые ресурсы, знать свой маневр, уметь взять управление в свои руки - и ко всему этому быть готовым заранее.
4) Вышесказанное выглядит нарочито просто. Но выходные результаты риск-менеджмента и должны быть
- нарочито просты;
- изложены на общепонятном (для разнопрофильных специалистов) и лаконичном языке;
- доведены до ответственных лиц и усвоены ими.
5) При этом сам риск-менеджмент может быть
- очень сложным;
- проводиться высоколобыми, разнопрофильными спецами, порой готовыми зарезать друг друга;
- иметь навороченную техническую и идейную начинку под капотом систем предупреждений и оповещений.
Здесь ударение на "под капотом". При реализации не важно, о каком риске речь - (22 июня или банальное отключение электропитания на заводе); ответственные лица дожны действовать хладнокровно, автономно, четко и по-возможности быстро. Риск-менеджмент часто (и несправедливо) поругаем публикой за "механистичность". Его результаты (нормативная документация и навыки персонала) и впрямь механистичны. Но это их достоинство, а не недостаток. "Подкапотный" риск-анализ может быть сколь угодно изощрен, но все сложности инкапсулируются под капотом. Публика (как обыватели, так и академические спецы) их не видит и оценить не может, иначе как ретроспективно, когда сроки давности по секретности риск-менеджмента вышли.
6) Часто результаты риск-менеджмента излагаются уже полностью на простом языке исполнителей низового и среднего звена; язык анализа полностью уходит "под капот". Скажем, в Положении о чрезвычайных ситуациях на заводе не будет слов "вероятность", "опережающие индикаторы" или "профилактика риска". В нем будет написано, куда бежать персоналу, кто кому должен позвонить и кто должнен выключить (или включить) нужные рубильники и в каком порядке.
Поэтому со стороны может показаться, что и анализ рисков - нечто простое, механистичное, что можно сделать по старым схемам / "на глазок" или вообще пропустить.
Такая ошибка, буде допущена, оплачивается тяжелой полновесной монетой, а зачастую и кровью. Когда конкретно оплачивается - это теорвероятностный вопрос к астрологам.
7) Бывает, анализ рисков и впрямь делается "на глазок" и завершается малым количеством итоговых документов (короткий план рисков или просто их скупой перечень); бывает, это оправдано простотой случая и, в целом, низкими рисками.
Итак,
III. ПЕРЕЧЕНЬ РИСКОВ, СВЯЗАННЫХ С ИИ
Конечно же, без их оценок, без предлагаемых упреждающих действий - я все-таки не Господь Бог. (Всё, что мы осилим в комментариях - всё будет наше.)
Прежде всего, очевидны
1. Риски возникновения военных дисбалансов
1) Риск критического военного дисбаланса в управлении ядерными, конвенциональными либо комбинированными ударными средствами. ("Терминатор", да. Не надо смеятся, концептуально-сценарная основа сильная у фильма.)
2) Риск дисбаланса в развитии атакующих и защитных средств в области проведения биологических диверсий.
3) Риск дисбаланса развитии атакующих и защитных средств в области информационных технологий.
Примером хорошего риск-менеджмента в отношении таких рисков могут считаться
- создание "Изделия №1" при Сталине;
- ведение карибского кризиса со стороны американцев при Кеннеди (да и советская сторона своих целей тоже достигла).
Примером частичной реализации риска дисбаланса является СВО. Кстати, даже в самых благоприятных (для нас) сценарии развития СВО мы видим "на конвенциональных минималках" то, чью гипертрофированную форму СВО предназначена упредить - массовые налеты ракет средней дальности на территорию России. И даже "на конвенциональных минималках" это не масло сливочное.
От этих рисков невозможно отмахнуться в том смысле, что "ничего нового, мы ж уже отставали". Да, отставали - и снова отстаем; но каждый отдельный раз специфичен - запросто может оказаться фатальным. История Нагорного Карабаха тому порукой.
2. Риски потери контроля над военным ИИ
У каждого "военно-дисбалансового" риска, очевино, есть риск-"изотоп", связанный с выходом военного ИИ из-под контроля владельца ("Терминатор", да. Не надо смеяться...) Мы и сейчас ядерное-то оружие не очень-то уверенно контролируем (см., например,
список аварий и катастроф ВВС США с ядерным оружием). А что будет с управлением всевозможными ударными комплексами в условиях ИИ-гонки... ну, понятно.
Подпункты этого раздела идентичны тому, что выше.
3. Гуманитарные риски
Не будучи гуманитарным специалистом, я перечислю самые очевидные из этих рисков речитативом, давая лишь минимальные пояснения. Понятно, что некоторые из этих рисков звучат фантастично. Но sci-fi-шный запал к полемике подвели сами трансгуманисты; а я, как поручик Ржевский, "просто беседу поддерживаю".
1) Риск взрывного роста неравенства. Неравенство здесь можно понимать двояко:
- неравенство между операторами ИИ, его пользователями и "прочими";
- неравенство между людьми и "существами другого вида", буде таковые появятся.
Прилагательное "взрывной" здесь не метафора. Хорошо, если статус "оператора ИИ" будет сравним, скажем, со статусом выпускника элитного вуза. А может статься, что он будет выше, чем у капиталиста в сравнении с наемными работниками.
Чем чреват взрыв неравенства - ну, можно, например, взглянуть на проблемы миграционного кризиса в Европе, еще 20-30 лет назад бывшей островком безоговорочного экономического благополучия.
2) Риски выведения враждебного вида (в ходе отклонения от "естественного человеческого выращивания") добавляют межвидовую конкуренцию. См. эпиграф к этому докладу, а также аналогии с ЛГБТ и судьбой индейцев с колумбовых путешествий и вплоть до недавнего времени.
3) Риск утери изменчивости элит ("стульдбруги у власти"). Для этого вовсе не обязательно уметь выгружать сознание на флэшку за полчаса (как в фильме "Шестой день" с Арнольдом Шварценеггером). Достаточно придумать способ хотя бы частично "перепрошиваться" в другое тело. И даже на эту технологию-полуфабрикат будет достаточный спрос; ее реализуемость мы допустили ранее (см. дисклеймер в начале доклада). Складываем два и два и получаем блокировку ротации элит куда большую, чем, скажем, блокировку ротации со стороны нынешних кланов в США.
4) Риск утери управления обществом со стороны человека ("фактор Лазарчука" - см. его книгу "Всё будет хорошо").
5) Риск необратимых этических ошибок при развитии ИИ. Этот раздел в особенности касается (слава богу, весьма теоретических на текущий момент) ситуаций, в которых ИИ выводится "в равные" - в качестве разумного существа, платформы-хостинга разумных существ, "философского зобми" и т. д.
5.1) Если мы объявляем что-то новое "разумным" и "живым" одновременно, то мы уже не можем просто так взять и "выключить это из розетки". Потому что возникает риск, что другой возникший "живой разум" выключит нас, как только дорвется.
5.2) Нельзя произвольно наделять искусственный разум "переживаниями" - если с дизайном фактических переживаний или ложной памяти накосячим - он нам не простит.
5.3) Нельзя делать платформу для
фантоматики. Потому что нельзя населять ее искусственными фантомами, не выращенными в живом социуме. Но и населять ее фантомами, списанными / перенесенными с живого индивида, тоже проблема - придется отвечать за их дальнейшую жизнь и судьбу, а они у платформы в заложниках.
Однако, исходя из имеющегося опыта, вышеперечисленные "нельзя" будут с большой вероятностью преодолены. Потому что куда более простые и очевидные "нельзя" (скажем, смена пола детям по их желанию против желания родителей) преодолеваются просто из политической целесообразности.
IV. Заключение
Даже такой простейший обзор рисков, увы, показывает: в глобальном масштабе риск-менеджмент будет человечеством регулярно проваливаться.
Во-первых, потому, что он должен добросовестно проводиться во всех странах-производителях ИИ. А вероятность одновременной вменяемости элиты во всём множестве этих стран, очевидно, невысока.
Во-вторых, потому что по теме спорят гностики из разных религиозных направлений. Агностики как-то договорились бы, но они в меньшинстве. Сама попытка привлечь коллектив непримиримых спорщиков к риск-менеджменту этот риск-менеджмент похоронит.
Ну, и в-третьих, из-за
наблюдаемой острой интеллектуальной недостаточности современных политических, идеологических и техно-прогрессоров.
V. Вместо эпилога
... дам лишь ссылку на "Звездные дневники Йона Тихого", выдержку из
Путешествия двадцать третьего:
- О почтенный Дурдиот! - вскричал я, приглаживая ладонью взъерошившиеся от возбуждения волосы. - Страшна твоя повесть и совершенно невероятна! Но скажи мне, очень тебя прошу об этом, почему вы не восстали против этого механического чудовища, истребившего вас, почему позволили принудить себя к...
Дурдиот вскочил, всем своим видом выражая самое горячее возмущение.
- Не оскорбляй нас, чужеземец! - воскликнул он. - Речь твоя необдуманна, но я тебя прощаю... Взвесь в своих мыслях все, что я рассказал тебе, и ты непременно придешь к тому правильному выводу, что Машина соблюла принцип свободной инициативы; и хотя тебе это может показаться удивительным, она оказала большую услугу народу Дурдиотов, ибо нет несправедливости, где закон провозглашает свободу превыше всего и где всякий, кто счел бы ограничение свободы...
Он не докончил, ибо раздался страшный скрип, и яшмовые двери величаво раскрылись. Увидя это, все Дурдиоты вскочили с мест и бегом кинулись к ведущей наверх лестнице.
Дурдиот! Дурдиот! - кричал я, но мой собеседник только помахал мне рукой и исчез в глубине Дворца.
Я стоял довольно долго, потом увидал отряд черных автоматов; подтопав к стене Дворца, они открыли в ней дверку, и оттуда высыпалось множество красиво блестевших на солнце кружков. Потом они покатили ли кружки в чистое поле и там остановились, чтобы закончить какой-то неоконченный рисунок узора. Двери Дворца оставались широко открытыми; я подошел на несколько шагов, чтобы заглянуть внутрь, но по спине у меня прошел неприятный холодок.
Машина разверзла свои железные уста и пригласила меня войти.
- Но я-то ведь не Дурдиот, - возразил я.
С этими словами я повернулся, поспешил к своей ракете и уже через минуту работал рулями, возносясь с головокружительной скоростью в небо.