Несколько неочевидных штрихов по рискам, связанным с искуственным интеллектом
Доклад был опубликован мной 1 октября 2023 года в закрытом сообществе "Основания". Сообразно правилам сообщества и принятой практике, я использую свое право опубликовать его открыто в своем журнале (с учетом, что обсуждение доклада внутри сообщества уже завершено
( Read more... )
Вы совершенно правы для этапа перехода и сразу после. Т.е. когда ещё живы те, кто совершал этот переход и они помнят как работать руками, это 100% откатываемая ситуация. Рискну оценить это сверху как время активной жизни одного поколения - 30 лет. Дальше, по мере ухода этих людей шансы быстрого отката падают. Опять оценка сверху, ещё 30 лет. После этого некатастрофический откат невозможен. Опять оценю сверху время и затраты: переход с уровня L+1 на L, будет не хуже чем с L-1 на L. Не хуже, но вряд ли на порядок, зависит от того как много данных и пререквизитов (типа нужных отраслей и технологий) сохранилось.
«То есть, сброс кульмана с корабля современности и его замена на ArchiCad не привела же к отмене специальности "архитектор"?»
А вот это прекрасный вопрос. :) Я, собственно в этом сам участвовал. :)
Преамбула: сам я по образованию технолог автоматизированного производства. Т.е. специальность "чертёжная". Когда работал в ЦКБ (скорее "автоматизатором", чем "технологом") поддерживал переход с кульмана на AutoCAD и наблюдал грабли при переходе и сразу после. А жена у меня архитектор и как раз попала в переход от кульмана к ArchiCAD/AutoCAD чуть позже.
Сама история: Потом она осталась работать на кафедре и поддерживать уже новое "поколение ArchiCADа", хотя скорее AutoCAD, там инженерных библиотек было больше и поддержка разных форматов лучше. Он был более универсален.
Вобщем на кафедре кому-то пришла в голову идея, после начитки лекций задать курсовую с условием сделать её вручную. И начался цирк. Часть его наблюдал, когда заходил туда, сам. Часть по рассказам. Но... вобщем это уже другая специальность.
И нет, не потому, что компьютер линию ровнее проведёт и легче исправит ошибку. Самый косяк, об который народ бился как рыба об лёд, это то, что программа учитывает и делает молча столько разных технических ньюансов, о которых они все слышали на лекциях, но в голове держать и, главное, применять постоянно они были долго неспособны. Типа: вот тут можно такой стык делать, а тут другой, а тут толщина стенки не такая из-за требований прочности и т.п.
Утрируя: разве современный таксист не сможет управлять коляской извозчика? Профессия же осталась, только инструмент поменялся...
Reply
Ну так я сразу могу сказать, что ЕИ (естественные интеллекты) там делают всë без особых изысков и довольно анти-интеллектуально. И что основная их задача - защитить планирование от позднего вмешательства департамента продаж.
Ну так в их ситуации с ИИ им эту задачу будет легче решать: настроить ограничения, затем по случаю вмешвтельства объявлять: не, ребята, вы поздно пришли, следующие перенастройка / пересчет завтра, а обновление и того позже, ничего поделать не можем, машина планирует. :)
Я думаю, куда более серьезные проблемы могут случиться на рынках акций и электроэнергии; но человечество ко всяким ньюаркам / калифорниям / техасам уже привычно, удивляться не будет и сможет это обработать.
Reply
У меня тоже в работе есть элементы слабого ИИ. Но это уже мы в сторону ушли. Дело же не в том, что ИИ не справляется, а совсем наоборот, он слишком хорошо справляется. Так что возникает искушение всё на него и переложить. :) И, кстати, напомню о том, что внедрение в авиации автопилота способного к автоматической посадке, привело, через некоторое время к росту аварийности при посадках, хотя он делал это лучше людей. Причину быстро нашли и вовсе не в автопилоте, а в пилотах. :)
Попробую сформулировать покороче: В случае полной замены инструмента уровня L (ЕИ) на инструмент уровня L+1 (ИИ), при утере, по какой-то причине функциональности L+1, откат на уровень L обойдётся (сверху) во столько же (времени/ресурсов) сколько и подъём с L-1 до L.
В доказательство того, что функциональность может теряться и в давно используемых инструментах, напомню, что 30-ти летние баги в библиотеках обнаруживаются до сих пор. А уж та эпическая история с исправлением функции strcpy в glibc, когда на месяц с лишним перестали работать кучи программ, причём довольно крупных и весьма инфраструктурных... пришлось резко замораживать все обновления, но всё равно где-то что-то упало. Вобщем от обнаружения фатального дефекта в ИИ в будущем мы не застрахованны. По последствиям это вполне может быть фатально. Особенно, если люди забудут как это можно делать без ИИ (см. аналогию между извозчиками и таксистами, она именно про это).
Reply
Для этого желательно придумать ему лаконичную, но наглядную формулировку - предлагайте, если есть.
Reply
Долго думал. :)
"Синдром отмены" - После успешного полного внедрения ИИ в какую-то область, обнаруженная внутренняя проблема с ИИ или проблема появившеяся вследствие изменения условий, может отбросить всю область и связанные с ней области на пару уровней развития технологии назад.
Reply
Reply
Ещё подумал, что это, конечно, применимо к любой технологии или инструменту. Но ИИ тут уникален тем, что он заменяет сразу группу инструментов, а не какой-то один. Так что эффект от его отмены будет больше.
Reply
Reply
Leave a comment