Несколько неочевидных штрихов по рискам, связанным с искуственным интеллектом
Доклад был опубликован мной 1 октября 2023 года в закрытом сообществе "Основания". Сообразно правилам сообщества и принятой практике, я использую свое право опубликовать его открыто в своем журнале (с учетом, что обсуждение доклада внутри сообщества уже завершено
( Read more... )
А почему нет экономических рисков? Ну или технических. Ведь полная или частичная передача управления каким-то уровнем производства/экономики ИИ, куда более близкий и более серьёзный риск, чем пункты 2-5 гуманитарных рисков.
Reply
Все негуманитарные риски - в той или иной мере технические.
Reply
Я имел ввиду несколько иные риски. Попробую проиллюстрировать.
Вот представьте, на одном предприятии передают управление планированием производства (не всем производством, а его результатом: номенклатура изделий и их количество) и закупкой сырья под это, ИИ.
Всё идёт прекрасно, затраты падают, прибыль растёт. Глядя на это другие предприятия начинают внедрять это у себя. В конечном итоге, это сделают все. Что в результате?
А в результате может быть примерно тоже самое, что и с ChatGPT, когда её стали кормить, кроме человеческих текстов, ещё и текстами нейросетей. Выход стал коллапсировать, разнообразие ответов резко падать. Сильно упала чувствительность к исходным данным. Очень-очень сильно утрируя: неважно, что вы подаёте на вход, выход всегда будет один и тот же. Засада тут в том, что сначала всё работает как надо, а песец подкрадывается тихо и незаметно.
Осмелюсь предположить, что такое событие в масштабах экономики просто её убьёт, быстро и надёжно.
Это, конечно, про "слабый ИИ", но какие подводные камни будут у сильного, мы знаем ( ... )
Reply
Reply
«предприятие может закупить не услугу ии, а железо с ии.»
Да, обычно так и делают. Только убирание одних граблей сразу поднимает наверх другие. Без анализа результатов в экономике в целом, у такого решения будет нулевая адаптивность. А, в случае массового внедрения ИИ, в этих данных будет полно результатов работы ИИ. :)
PS Я над анализом рисков в этом направлении особо не думал, так что пример был достаточно частный. Попробую его немного генерализовать:
1) Внедряется ИИ в какой-то области производства/экономики. Всё идёт как надо.
2) Посколько всё идёт нормально, человечество перестаёт контроллировать его и утрачивает компетенции выполнения той-же самой работы самостоятельно.
3) Всплывает какой-нибудь крупный или фундаментальный дефект ИИ, о котором человечество не подозревало.
4) Перейти на ручное управление невозможно, за утратой этих знаний.
5) FINISH !
PPS Я вообще не уверен в возможности человечества понять/предсказать поведение ИИ. Всплывают фундаментальные ограничения роста вычислительной мощности.
Reply
5) FINISH !"
уже были примеры утраты технологий "предыдущих цивилизаций":
- разрабатываются новые инструменты на текущей базе
- пока не разработаны - на ручном управлении. вы не учитываете способности людей к обучению в критических ситуациях.
Reply
Зависит от размера и важности утраты. После падения Римской Империи, до её уровня восстанавливались почти тысячу лет. А в некоторых областях и больше.
Современная промышленность слишком хрупкое и многоэтажное здание. Рухнет быстро, а восстанавливаться будет долго. К тому же, некоторые вещи на "текущей базе" после обвала сделать просто невозможно. Для иллюстрации попробуйте представить себе велосипед на технологиях Римской Империи. Посказка, всё упрётся в материалы. Производство некоторых материалов невозможно, пока не освоены предыдущие уровни производства.
Т.е. я согласен с тем, что рано или поздно люди выкарабкаются, только история показывает, что это может занять тысячилетия.
Reply
имхо больше подойдет пример с полетом на луну - технологии по которым строили ракету сатурн были утрачены. на то что бы достичь сравнимого результата ушло больше 20 лет (и то пока повторен только облет луны без экипажа).
задержки конечно вызваны не только разработкой нового, но и управленческими ошибками и имхо вообще утратой прежнего уровня управления.
в случае разрушения нынешней цивилизации уйдет раза в четыре больше времени что бы достичь нынешнего уровня технологий - легкодоступные источники энергии давно исчерпаны, то, что еще доступно с нынешним уровнем - будет недоступно с потерей технологий.
Reply
«пример с римской империей мне кажется некорректным»
Возможно, но он хорошо иллюстрирует неоптимистичный сценарий. :)
«технологии по которым строили ракету сатурн были утрачены»
Ошибаетесь, были утрачены только люди, т.е. опыт, т.е. нематериальная составляющая технологий. Она самая быстровосстановимая. Вся остальная документация, ноу хау и, самое главное, работающая промышленность всех предыдущих уровней цепочки. Это иллюстрация самого оптимистичного сценария.
«в случае разрушения нынешней цивилизации уйдет раза в четыре больше времени что бы достичь нынешнего уровня технологий»
Это вы уже оптимистичней оптимистов. :) Посмотрите сколько строилась сталеплавильная промышленность до современного уровня. Несколько сотен лет. Потому, что там были не только исследования, но и строительство и окупаемость всех предыдущих уровней технологической цепочки.
Вы зря игнорируете многоуровневую структуру современной промышленности. Современную сталь, например, которая пойдёт на подшипники в том же велосипеде напрямую из руды не выплавить. Сначала ( ... )
Reply
Неважно иллюстрирует: Рим пал, а Римская (Ромейская) империя оставалась еще больше тысячи лет со столицей в Константинополе. И экономически была весьма огого.
Reply
Римскую Империю (да, только западную её часть) я упомянул только для демонстрации последствий утраты технологий. Восточная часть тут как раз иллюстрирует, что будет в оптимистичном варианте. Т.е. по тексту это "оценка тяжести" последствий. Не более.
Вы правы, я имел ввиду Западную Римскую Империю, а не всю целиком. Да и под "цивилизацией" я имел ввиду только Европу, в тогдашнем понимании. Наверное это стоило написать сразу.
Reply
- за ощутимые деньги;
- не сразу все.
То есть, ситуация, в принципе, откатываема ( в целом по экономике), пусть и за счет накосячивших инноваторов (оно всë время так).
Кроме того, планировшики, как правило, не увольняются, а перепрофилируются в "планировщики с помощью ИИ". То есть, сброс кульмана с корабля современности и его замена на ArchiCad не привела же к отмене специальности "архитектор"? Ну и здесь не приведет.
Reply
Вы совершенно правы для этапа перехода и сразу после. Т.е. когда ещё живы те, кто совершал этот переход и они помнят как работать руками, это 100% откатываемая ситуация. Рискну оценить это сверху как время активной жизни одного поколения - 30 лет. Дальше, по мере ухода этих людей шансы быстрого отката падают. Опять оценка сверху, ещё 30 лет. После этого некатастрофический откат невозможен. Опять оценю сверху время и затраты: переход с уровня L+1 на L, будет не хуже чем с L-1 на L. Не хуже, но вряд ли на порядок, зависит от того как много данных и пререквизитов (типа нужных отраслей и технологий) сохранилось.
«То есть, сброс кульмана с корабля современности и его замена на ArchiCad не привела же к отмене специальности "архитектор"?»
А вот это прекрасный вопрос. :) Я, собственно в этом сам участвовал. :)
Преамбула: сам я по образованию технолог автоматизированного производства. Т.е. специальность "чертёжная". Когда работал в ЦКБ (скорее "автоматизатором", чем "технологом") поддерживал переход с кульмана на AutoCAD и наблюдал грабли при ( ... )
Reply
Ну так я сразу могу сказать, что ЕИ (естественные интеллекты) там делают всë без особых изысков и довольно анти-интеллектуально. И что основная их задача - защитить планирование от позднего вмешательства департамента продаж.
Ну так в их ситуации с ИИ им эту задачу будет легче решать: настроить ограничения, затем по случаю вмешвтельства объявлять: не, ребята, вы поздно пришли, следующие перенастройка / пересчет завтра, а обновление и того позже, ничего поделать не можем, машина планирует. :)
Я думаю, куда более серьезные проблемы могут случиться на рынках акций и электроэнергии; но человечество ко всяким ньюаркам / калифорниям / техасам уже привычно, удивляться не будет и сможет это обработать.
Reply
У меня тоже в работе есть элементы слабого ИИ. Но это уже мы в сторону ушли. Дело же не в том, что ИИ не справляется, а совсем наоборот, он слишком хорошо справляется. Так что возникает искушение всё на него и переложить. :) И, кстати, напомню о том, что внедрение в авиации автопилота способного к автоматической посадке, привело, через некоторое время к росту аварийности при посадках, хотя он делал это лучше людей. Причину быстро нашли и вовсе не в автопилоте, а в пилотах. :)
Попробую сформулировать покороче: В случае полной замены инструмента уровня L (ЕИ) на инструмент уровня L+1 (ИИ), при утере, по какой-то причине функциональности L+1, откат на уровень L обойдётся (сверху) во столько же (времени/ресурсов) сколько и подъём с L-1 до L.
В доказательство того, что функциональность может теряться и в давно используемых инструментах, напомню, что 30-ти летние баги в библиотеках обнаруживаются до сих пор. А уж та эпическая история с исправлением функции strcpy в glibc, когда на месяц с лишним перестали работать кучи программ, причём ( ... )
Reply
Для этого желательно придумать ему лаконичную, но наглядную формулировку - предлагайте, если есть.
Reply
Leave a comment