Техносредневековью - техносхоластика!

Apr 06, 2023 09:14

"Добро пожаловать в 2023 год, когда мир снова помешался на искусственном интеллекте. [...] Такого, который сможет сам учиться, развиваться и решать любые задачи, даже которые мы не умели решать раньше.

Это называется Artificial General Intelligence (AGI) или «универсальный ИИ» (УИИИИИ) по-нашему. [...]"

Изменения затронут даже те области, где, казалось бы, невозможно доверять не-специалистам. На ум приходит недавняя история, как чувак спас свою собаку от смерти, когда доктора не смогли ей поставить диагноз и предложили «просто ждать».

В ожидании наихудшего, чувак скормил симптомы и результаты анализов крови собаченьки в ChatGPT, который отмёл несколько вариантов и выдал подозрение на совсем другую болезнь, которую доктора до этого даже не рассматривали. Один из них согласился и провёл дополнительные анализы. Они подтвердились. Пёселя вовремя спасли и он сейчас жив. [...]

Microsoft осознали, что очень сильно торопились, чтобы опередить Google, и начали на ходу вставлять еще костыли, чтобы избежать публичного скандала. Но это сделало ситуацию только хуже.

В следующем видео видно как Sydney сначала вываливает на пользователя кучу угроз, а потом удаляет свои сообщения! Как твоя бывшая в пятницу вечером!

Мы можем лишь спекулировать с высоты собственного опыта как такое произошло, но в интернетах высказывались предположения, что вести себя как «разгневанная бывшая» Сидни стала потому что её дообучали на базе блогов MSN, где как раз тусило много девочек-подростков в нулевые, а удалять сообщения к ней приставили еще одну нейросеть, которая отсеивала «неприятные» результаты первой.[...]

ИИ всегда будет делать то, что вы его попросили, а не то, что вы имели в виду :)

Неумение ставить цели - это не проблема ИИ. Это наша проблема.

Взять даже игру в Тетрис. Там простейшие правила и буквально четыре кнопки для управления миром. Выиграть в Тетрис невозможно, потому цель была поставлена так - не проиграть. То есть продолжать игру как можно дольше.

Ошибиться тут невозможно, так?

Так вот что делал ИИ: он просто складывал кубики друг на друга, а когда понимал, что проигрывает… ставил игру на паузу. И сидел так бесконечно. Ведь цель - не проиграть. А если ты на паузе - ты никогда не проиграешь. СМЕКАЛОЧКА?[...]

Значит надо просто придумать правила!
Зашьем туда что-то типа «трех законов робототехники» Азимова и проблема решена?

К сожалению, не всё так просто.

Во-первых, даже если мы соберемся всем человечеством и напишем список из 1000 вещей, которые мы якобы ценим (не убивать людей, например), то 1001-я вещь на планете будет автоматически проигнорирована и, возможно, уничтожена.

Это называется «проблемой вазы». Если мы ставим ИИ задачу «сделай мне чай», но не скажем «только не разбей вазу на кухне», то наш робот вполне вероятно её разобьет, пока будет пробивать кувалдой максимально эффективный чаепровод до кухни через стены и кота.[...]



"
https://vas3k.blog/blog/ai_alignment/

сцылки, ai, 2023, Мосты, будущее

Previous post Next post
Up