Несколько неочевидных штрихов по рискам, связанным с искуственным интеллектом

[whiteferz]

Доклад был опубликован мной 1 октября 2023 года в закрытом сообществе "Основания". Сообразно правилам сообщества и принятой практике, я использую свое право опубликовать его открыто в своем журнале (с учетом, что обсуждение доклада внутри сообщества уже завершено

Comments

[hegdehog]

"реакцию на ри4ск" - опечатка. :)

[whiteferz]

Да, спасибо; знал, спецом эту ошибку оставил, чтоб выявить Зоркого Глаза среди гостей. :)

[hegdehog]

еще одна "философского зобми". :) вот эта уже вряд ли нарочная :)

[whiteferz]

Да, это не нарочная :)

[runagark1]

Тема очень интересная и актуальная. Жаль, что сообщество закрытое, было бы интересно познакомиться с обсуждением темы.
Автор ютюб-канала "Из Мордора с любовью" по поводу ИИ остроумно заметил, что тот еще и будет помнить все зло, которое ему причинили (уверен, найдется немало желающих такое сделать), и доверять управление такой сущности рискованно.

[whiteferz]

>> Жаль, что сообщество закрытое, было бы интересно познакомиться с обсуждением темы.

Сообщество, увы, в этот раз провалило обсуждение темы, утопив его в оффтопиках. Причем провал был во многом предопределен спецификой модерирования, из-за которых онтопик оказался в загоне.

Где-то на 250-м комменте я озвучил эти обстоятельства явным образом и - впервые за более чем год - объявил, что выхожу из обсуждения собственного же доклада.

После этого клубяне начали набрасывать оффтопики большой совковой лопатой - и, где-то уже за 700 комментов, гостевуха к докладу превратилась в теплый ламповый кружок неогегельянцев.

Беспрецедентно прискорбное зрелище было. Те, от кого оно скрыто, ничего не потеряли. И даже выиграли кучу времени; а жизнь - она ведь весьма короткая штуковина.

[runagark1]

А что неогегельянцы?
Неужели радуются наступлению ИИ выдавая его за новый виток мирового духа?

[whiteferz]

Там есть и сторонники, и противники, и похлеще есть - председатель клуба объявил крестовый поход за Знаниями, начал грызть 2000-страничную монографию по ИИ и питон с нуля (прямо с "hello, world"), объявив, что в случае успеха он проблему порвет.

Я уже говорил, зрелище прискорбное весьма; я бы назвал ситуацию бедственной.

[jagodra103]

как просто: "ибо нет несправедливости, где закон провозглашает свободу превыше всего".
и сторонников этого закона все больше:(

[dumendil]

А почему нет экономических рисков? Ну или технических. Ведь полная или частичная передача управления каким-то уровнем производства/экономики ИИ, куда более близкий и более серьёзный риск, чем пункты 2-5 гуманитарных рисков.

[whiteferz]

Гуманитарные риски 1, 3 и 4 - вполне себе экономические.

Все негуманитарные риски - в той или иной мере технические.

[dumendil]

Я имел ввиду несколько иные риски. Попробую проиллюстрировать.
Вот представьте, на одном предприятии передают управление планированием производства (не всем производством, а его результатом: номенклатура изделий и их количество) и закупкой сырья под это, ИИ.

Всё идёт прекрасно, затраты падают, прибыль растёт. Глядя на это другие предприятия начинают внедрять это у себя. В конечном итоге, это сделают все. Что в результате?

А в результате может быть примерно тоже самое, что и с ChatGPT, когда её стали кормить, кроме человеческих текстов, ещё и текстами нейросетей. Выход стал коллапсировать, разнообразие ответов резко падать. Сильно упала чувствительность к исходным данным. Очень-очень сильно утрируя: неважно, что вы подаёте на вход, выход всегда будет один и тот же. Засада тут в том, что сначала всё работает как надо, а песец подкрадывается тихо и незаметно.

Осмелюсь предположить, что такое событие в масштабах экономики просто её убьёт, быстро и надёжно.

Это, конечно, про "слабый ИИ", но какие подводные камни будут у сильного, мы знаем

[hegdehog]

предполагаю, сейчас работают в том числе над станд-элон версией нейросетей. предприятие может закупить не услугу ии, а железо с ии.

[vic_nikob]

получил удовольствие от прочтения. Когда то в 87м году немного не в тех терминах обсуждали подобное на кафедре ВТиИ

[whiteferz]

Я в этом году был еще только призван на срочку курсантом в чебаркульскую учебку. Прямо после второго курса мех-мата МГУ.

[vic_nikob]

я в 71м закончил Радиофизику в ПГУ)

[whiteferz]

Дык, блин, Вы олдфаг тот еще; Вы еще Ленина видели!