Несколько неочевидных штрихов по рискам, связанным с искуственным интеллектом
Доклад был опубликован мной 1 октября 2023 года в закрытом сообществе "Основания". Сообразно правилам сообщества и принятой практике, я использую свое право опубликовать его открыто в своем журнале (с учетом, что обсуждение доклада внутри сообщества уже завершено
( Read more... )
Я имел ввиду несколько иные риски. Попробую проиллюстрировать.
Вот представьте, на одном предприятии передают управление планированием производства (не всем производством, а его результатом: номенклатура изделий и их количество) и закупкой сырья под это, ИИ.
Всё идёт прекрасно, затраты падают, прибыль растёт. Глядя на это другие предприятия начинают внедрять это у себя. В конечном итоге, это сделают все. Что в результате?
А в результате может быть примерно тоже самое, что и с ChatGPT, когда её стали кормить, кроме человеческих текстов, ещё и текстами нейросетей. Выход стал коллапсировать, разнообразие ответов резко падать. Сильно упала чувствительность к исходным данным. Очень-очень сильно утрируя: неважно, что вы подаёте на вход, выход всегда будет один и тот же. Засада тут в том, что сначала всё работает как надо, а песец подкрадывается тихо и незаметно.
Осмелюсь предположить, что такое событие в масштабах экономики просто её убьёт, быстро и надёжно.
Это, конечно, про "слабый ИИ", но какие подводные камни будут у сильного, мы знаем ещё меньше. Мы даже слабый не понимаем, хотя и можем воспроизвести частично.
Единственное похожее у вас это пункт 4, если исключить словосочетание "управление со стороны общества" из него. :) Потому, что самое вероятное, что управления никакого не будет изначально. Люди не могут управлять тем, что не могут прогнозировать хотя бы частично. Максимум что будет, это большая красная кнопка полного отключения. И тут вопрос насколько далеко зайдёт это "паразитирование" людей на ИИ. Возможно они без него и не смогут жить через некоторое время.
Reply
Reply
«предприятие может закупить не услугу ии, а железо с ии.»
Да, обычно так и делают. Только убирание одних граблей сразу поднимает наверх другие. Без анализа результатов в экономике в целом, у такого решения будет нулевая адаптивность. А, в случае массового внедрения ИИ, в этих данных будет полно результатов работы ИИ. :)
PS Я над анализом рисков в этом направлении особо не думал, так что пример был достаточно частный. Попробую его немного генерализовать:
1) Внедряется ИИ в какой-то области производства/экономики. Всё идёт как надо.
2) Посколько всё идёт нормально, человечество перестаёт контроллировать его и утрачивает компетенции выполнения той-же самой работы самостоятельно.
3) Всплывает какой-нибудь крупный или фундаментальный дефект ИИ, о котором человечество не подозревало.
4) Перейти на ручное управление невозможно, за утратой этих знаний.
5) FINISH !
PPS Я вообще не уверен в возможности человечества понять/предсказать поведение ИИ. Всплывают фундаментальные ограничения роста вычислительной мощности.
Reply
5) FINISH !"
уже были примеры утраты технологий "предыдущих цивилизаций":
- разрабатываются новые инструменты на текущей базе
- пока не разработаны - на ручном управлении. вы не учитываете способности людей к обучению в критических ситуациях.
Reply
Зависит от размера и важности утраты. После падения Римской Империи, до её уровня восстанавливались почти тысячу лет. А в некоторых областях и больше.
Современная промышленность слишком хрупкое и многоэтажное здание. Рухнет быстро, а восстанавливаться будет долго. К тому же, некоторые вещи на "текущей базе" после обвала сделать просто невозможно. Для иллюстрации попробуйте представить себе велосипед на технологиях Римской Империи. Посказка, всё упрётся в материалы. Производство некоторых материалов невозможно, пока не освоены предыдущие уровни производства.
Т.е. я согласен с тем, что рано или поздно люди выкарабкаются, только история показывает, что это может занять тысячилетия.
Reply
имхо больше подойдет пример с полетом на луну - технологии по которым строили ракету сатурн были утрачены. на то что бы достичь сравнимого результата ушло больше 20 лет (и то пока повторен только облет луны без экипажа).
задержки конечно вызваны не только разработкой нового, но и управленческими ошибками и имхо вообще утратой прежнего уровня управления.
в случае разрушения нынешней цивилизации уйдет раза в четыре больше времени что бы достичь нынешнего уровня технологий - легкодоступные источники энергии давно исчерпаны, то, что еще доступно с нынешним уровнем - будет недоступно с потерей технологий.
Reply
«пример с римской империей мне кажется некорректным»
Возможно, но он хорошо иллюстрирует неоптимистичный сценарий. :)
«технологии по которым строили ракету сатурн были утрачены»
Ошибаетесь, были утрачены только люди, т.е. опыт, т.е. нематериальная составляющая технологий. Она самая быстровосстановимая. Вся остальная документация, ноу хау и, самое главное, работающая промышленность всех предыдущих уровней цепочки. Это иллюстрация самого оптимистичного сценария.
«в случае разрушения нынешней цивилизации уйдет раза в четыре больше времени что бы достичь нынешнего уровня технологий»
Это вы уже оптимистичней оптимистов. :) Посмотрите сколько строилась сталеплавильная промышленность до современного уровня. Несколько сотен лет. Потому, что там были не только исследования, но и строительство и окупаемость всех предыдущих уровней технологической цепочки.
Вы зря игнорируете многоуровневую структуру современной промышленности. Современную сталь, например, которая пойдёт на подшипники в том же велосипеде напрямую из руды не выплавить. Сначала надо получить чугун, потом восстановить до стали. Потом довести до нужной формулы. Т.е. после домны там ещё будет мартен, а потом ещё какой-нибудь процесс. Если мы говорим о современном уровне.
Если разрушение будет в масштабе всей промышленности, то начинать придётся с самого начала. В лучшем случае с доменных печей, а потом уже до более-менее современных дойти. Например для индукционной или дуговой плавки, которой получают качественные стали, нужно много электричества, следовательно эту отрасль надо восстановить раньше.
И это я только о стали. А там ещё дофига всего, на современном уровне, даже не касаясь электроники.
Вобщем всё сложно. Как я уже сказал, современная промышленность многоуровневое и очень хрупкое сооружение. Сломай неудачный кирпич и рухнет всё, вообще всё.
Reply
Неважно иллюстрирует: Рим пал, а Римская (Ромейская) империя оставалась еще больше тысячи лет со столицей в Константинополе. И экономически была весьма огого.
Reply
Римскую Империю (да, только западную её часть) я упомянул только для демонстрации последствий утраты технологий. Восточная часть тут как раз иллюстрирует, что будет в оптимистичном варианте. Т.е. по тексту это "оценка тяжести" последствий. Не более.
Вы правы, я имел ввиду Западную Римскую Империю, а не всю целиком. Да и под "цивилизацией" я имел ввиду только Европу, в тогдашнем понимании. Наверное это стоило написать сразу.
Reply
- за ощутимые деньги;
- не сразу все.
То есть, ситуация, в принципе, откатываема ( в целом по экономике), пусть и за счет накосячивших инноваторов (оно всë время так).
Кроме того, планировшики, как правило, не увольняются, а перепрофилируются в "планировщики с помощью ИИ". То есть, сброс кульмана с корабля современности и его замена на ArchiCad не привела же к отмене специальности "архитектор"? Ну и здесь не приведет.
Reply
Вы совершенно правы для этапа перехода и сразу после. Т.е. когда ещё живы те, кто совершал этот переход и они помнят как работать руками, это 100% откатываемая ситуация. Рискну оценить это сверху как время активной жизни одного поколения - 30 лет. Дальше, по мере ухода этих людей шансы быстрого отката падают. Опять оценка сверху, ещё 30 лет. После этого некатастрофический откат невозможен. Опять оценю сверху время и затраты: переход с уровня L+1 на L, будет не хуже чем с L-1 на L. Не хуже, но вряд ли на порядок, зависит от того как много данных и пререквизитов (типа нужных отраслей и технологий) сохранилось.
«То есть, сброс кульмана с корабля современности и его замена на ArchiCad не привела же к отмене специальности "архитектор"?»
А вот это прекрасный вопрос. :) Я, собственно в этом сам участвовал. :)
Преамбула: сам я по образованию технолог автоматизированного производства. Т.е. специальность "чертёжная". Когда работал в ЦКБ (скорее "автоматизатором", чем "технологом") поддерживал переход с кульмана на AutoCAD и наблюдал грабли при переходе и сразу после. А жена у меня архитектор и как раз попала в переход от кульмана к ArchiCAD/AutoCAD чуть позже.
Сама история: Потом она осталась работать на кафедре и поддерживать уже новое "поколение ArchiCADа", хотя скорее AutoCAD, там инженерных библиотек было больше и поддержка разных форматов лучше. Он был более универсален.
Вобщем на кафедре кому-то пришла в голову идея, после начитки лекций задать курсовую с условием сделать её вручную. И начался цирк. Часть его наблюдал, когда заходил туда, сам. Часть по рассказам. Но... вобщем это уже другая специальность.
И нет, не потому, что компьютер линию ровнее проведёт и легче исправит ошибку. Самый косяк, об который народ бился как рыба об лёд, это то, что программа учитывает и делает молча столько разных технических ньюансов, о которых они все слышали на лекциях, но в голове держать и, главное, применять постоянно они были долго неспособны. Типа: вот тут можно такой стык делать, а тут другой, а тут толщина стенки не такая из-за требований прочности и т.п.
Утрируя: разве современный таксист не сможет управлять коляской извозчика? Профессия же осталась, только инструмент поменялся...
Reply
Ну так я сразу могу сказать, что ЕИ (естественные интеллекты) там делают всë без особых изысков и довольно анти-интеллектуально. И что основная их задача - защитить планирование от позднего вмешательства департамента продаж.
Ну так в их ситуации с ИИ им эту задачу будет легче решать: настроить ограничения, затем по случаю вмешвтельства объявлять: не, ребята, вы поздно пришли, следующие перенастройка / пересчет завтра, а обновление и того позже, ничего поделать не можем, машина планирует. :)
Я думаю, куда более серьезные проблемы могут случиться на рынках акций и электроэнергии; но человечество ко всяким ньюаркам / калифорниям / техасам уже привычно, удивляться не будет и сможет это обработать.
Reply
У меня тоже в работе есть элементы слабого ИИ. Но это уже мы в сторону ушли. Дело же не в том, что ИИ не справляется, а совсем наоборот, он слишком хорошо справляется. Так что возникает искушение всё на него и переложить. :) И, кстати, напомню о том, что внедрение в авиации автопилота способного к автоматической посадке, привело, через некоторое время к росту аварийности при посадках, хотя он делал это лучше людей. Причину быстро нашли и вовсе не в автопилоте, а в пилотах. :)
Попробую сформулировать покороче: В случае полной замены инструмента уровня L (ЕИ) на инструмент уровня L+1 (ИИ), при утере, по какой-то причине функциональности L+1, откат на уровень L обойдётся (сверху) во столько же (времени/ресурсов) сколько и подъём с L-1 до L.
В доказательство того, что функциональность может теряться и в давно используемых инструментах, напомню, что 30-ти летние баги в библиотеках обнаруживаются до сих пор. А уж та эпическая история с исправлением функции strcpy в glibc, когда на месяц с лишним перестали работать кучи программ, причём довольно крупных и весьма инфраструктурных... пришлось резко замораживать все обновления, но всё равно где-то что-то упало. Вобщем от обнаружения фатального дефекта в ИИ в будущем мы не застрахованны. По последствиям это вполне может быть фатально. Особенно, если люди забудут как это можно делать без ИИ (см. аналогию между извозчиками и таксистами, она именно про это).
Reply
Для этого желательно придумать ему лаконичную, но наглядную формулировку - предлагайте, если есть.
Reply
Долго думал. :)
"Синдром отмены" - После успешного полного внедрения ИИ в какую-то область, обнаруженная внутренняя проблема с ИИ или проблема появившеяся вследствие изменения условий, может отбросить всю область и связанные с ней области на пару уровней развития технологии назад.
Reply
Reply
Leave a comment