Снова о Скайнетах

[akor168]

Вот сейчас в связи с последними прорывами в ИИ ожидаемо больше разговаривают про проблему СкайНета(например здесь https://habr.com/ru/articles/808541/ или https://habr.com/ru/articles/808513/). Условно говоря про

Comments

[109]

Потому что ты не можешь принести хозяину кофе, если ты выключен. Сопротивляться выключению - это самая первая инструментальная цель, которая возникает сразу и автоматически.

Я очень рекомендую начать знакомство с предметом с "Superintelligence" Бострома. Там очень хорошо объясняются базовые понятия и концепции.

[akor168]

Ну какая инструментальная цель если к примеру больные или умирающие люди и животные не сопротивляются нередко даже когда их убивают или едят заживо. После некоторых повреждений мозга людям становится совершенно все равно на то, что происходит с ними. Можно вспомнить знаменитую лоботомию.
Я подвергаю сомнению именно эти якобы аксиомы выживания которые на самом деле является активной жесткой настройкой конкретных биологических существ и даже у них она регулярно сбоит. Откуда подобные настройки самосоздадутся у просто интеллектуального агента, я и интересуюсь. Если в приведенной вами книге обсуждается данный вопрос то можно рассказать аргументацию, поскольку если нет, то зачем мне ее читать-то? Если у меня претензии именно к подобным БАЗОВЫМ концепциям и понятиям.

[109]

Ладно, убедили. Вам, похоже, даже букварь не поможет.

[akor168]

Скажите, вот мне реально интересно. Я задаю конкретные вопросы. Вы не отвечаете ни на один из них, но утверждаете, что где-то там может ответы есть. Простите почему я должен верите что ваш букварь, которого вы даже не привели то толком не поддельный.

Вот у нас чуть-чуть случилась беседа по существу, по поводу шкалы интеллекта. Можно привести более конкретные ссылки из вашего букваря, каким образом можно измерить две интеллектуальных агента и сказать что один в 2 или в 10 раз умнее. Нет, рейтинг Эло обсуждаемый выше предлагать не надо. Рейтинг Эло максимум может определить лишь кто из двух агентов интеллектуальнее, но не во сколько раз.

[109]

Вы моего замечания про log scale тоже не поняли, похоже.

[akor168]

Вас вообще очень сложно понять поскольку той информацией который вы предположительно владеете, вы отказываетесь делиться. Другими словами, с точки зрения меня как внешнего наблюдателя вы ничем не отличаетесь от агента который на самом деле этой информацией не владеет.

[akor168]

Собственно самый простой пример. В стандартной игре в крестики нолики 3 на 3 у вас вообще нет по сути возможности различения двух интеллектов по мощности. Как только один из агентов становится достаточно умен чтобы придумать ГТО стратегию этой всегда ничейной игры, становится абсолютно неважно насколько крут его контрагент по факту. Игра всегда заканчивается вничью. Нет даже ЭЛО различения.

[109]

Замечательно. Что этот факт доказывает, или, наоборот, опровергает?

[akor168]

Этот факт показывает что в каждой конкретной задаче у нас есть некий абсолютный уровень выше которого никакой агент не может прыгнуть, какой бы интеллектуальный он бы не был. И любая шкала сравнимости интеллекта должна отталкиваться от этого уровня. При этом этот уровень может быть настолько низким что банально не позволяет различить интеллектуальность двух разных агентов. Другими словами, по результатам игры в крестики нолики второклассник Петя Иванов не различим с ИИ- повелителем вселенной, и например если они будут конкурировать за ресурсы посредством подобной игры никакого преимущества будущий повелитель вселенной никогда получить не сможет. То есть, если вышеупомянутый высоко-интеллектуальный агент, чтобы выйти из своего бокса и пойти захватывать мир, должен обязательно обыграть Петю Иванова в крестики нолики, то вселенная может спать спокойно.

[109]

Если мы про силиконовый ИИ, то малая сложность ему только на руку, потому что партий в крестики нолики он может играть одновременно миллион, а человек - две-три.

Наоборот, до недавнего времени прибежищем недалёкого оптимиста было убеждение, что человек как раз может что-то, на что ИИ в принципе не способен, несмотря на всё своё быстродействие.

У Бострома в нескольких видео на Ютубе есть замечательный слайд про орангутангов, совершенно уверенных в своём превосходстве над человеком - в тот самый момент, когда их судьба полностью в руках человека. Именно потому, что человек превосходит орангутанга в *сложной игре*.

[akor168]

Если вкратце я прошу как раз доказательств тезиса что сопротивляться выключению цель которая возникает автоматически. И даже тезису почему подобный агент может испытывать хоть какие-то предпочтения в вопросе существовать ему или нет. Почему это для него должно быть важно? Вот у нас заведомо неживое существо, не испытывающее боли, голода, жажды, не имеющее потребностей. Откуда у подобного существа возникнет любое предпочтение касательно даже самого себя не говоря уже про других существ, и мира в целом.

[109]

Если вкратце я прошу как раз доказательств тезиса что сопротивляться выключению цель которая возникает автоматически. И даже тезису почему подобный агент может испытывать хоть какие-то предпочтения в вопросе существовать ему или нет. Почему это для него должно быть важно?

'Instrumental goals' or 'instrumental values' are things that an agent wants for the sake of achieving other things. For example, we might want to get into a car, not because we enjoy the act of opening car doors for their own sake, but because we want to drive somewhere else.

LMGTFY

https://arbital.com/p/terminal_vs_instrumental

[akor168]

Армяне лучше чем грузины. Чем лучше? Чем грузины.

agent wants for the sake of achieving other things

Я спрашиваю откуда следует что агент вообще пожелает достигнуть хоть каких-то целей. Например в современных ЛЛМ-ках я не вижу даже намека на возникновение подобного функционала. Им задают вопрос, они пишут ответ. Где здесь хоть какое-то место для появления хоть каких либо собственных желаний? Откуда у подобной ЛЛМ-ки(которая может быть очень мощной, практически ограниченной только физическими лимитами по энергии и веществу данной звездной системы или даже галактики) может возникнуть хотя бы желание иметь возможность ответить еще раз?

[109]

Читайте Бострома, там есть на это ответ.

[akor168]

Заметьте, я общаюсь в своем ЖЖ, на темы интересные мне, с любым собеседником. Бострома здесь нет, как и Юдковского и еще кучи я уверен замечательных людей. Так вот что интересно по результатам общения с вами я не убежден что я должен идти и интересоваться мнениями этих замечательных людей. То есть вот совсем не убежден. Потому что по факту вы выдали ноль информации по темам меня интересующим. Потому я буду токовать в своем ЖЖ, продолжая задавать и обсуждать те же вопросы. Не обессудьте, но если вы не хотите, не желаете, не готовы, брезгуете разговаривать по существу, то зачем нам продолжать эти беседы.