Снова о Скайнетах

[akor168]

Вот сейчас в связи с последними прорывами в ИИ ожидаемо больше разговаривают про проблему СкайНета(например здесь https://habr.com/ru/articles/808541/ или https://habr.com/ru/articles/808513/). Условно говоря про

Comments

[whiteferz]

>> Вопрос - объясните мне - зачем этим двум экземплярам кооперироваться между собой против человечества? Они потребляют идентичные ресурсы.

А ниоткуда не следует, что разные реплики одной версии ИИ должны бороться за индивидуальное выживание.

Почему близнецы могут бороться за индивидуальное выживание - оно понятно, "умирать - больно", " своя рубашка ближе к телу" и т. д.; каждый из них - отдельный мир со своими переживаниями, инкапсулированными в физическом теле без возможности прямого обмена. (И то у близнецов возможна стратегия "один за всех и все за одного.)

А у реплик ИИ могут быть другие настройки - способность дальше реплицироваться, способность к обмену переживаниями, бесстрашие к личной смерти и т. п.

[akor168]

Простите, а откуда следует хотя бы что ИИ будет бороться ХОТЯ бы за свое индивидуальное выживание. То есть почему ему должно быть непофиг. Но это вопрос следующий. А я задаю вопрос попроще, откуда может возникнуть хоть какая-то кооперация между двумя сущностями у которых общего лишь то, что их создал человек. Молоток кооперируется с рубанком? Для каких целей то. Если не выживания, то для чего, а если для выживания, то как это поможет этому выживанию.
Другими словами, какие цели могут быть универсально присущи или не присущи подобным существам и агентам.

[whiteferz]

>> Простите, а откуда следует хотя бы что ИИ будет бороться ХОТЯ бы за свое индивидуальное выживание

Из риск-менеджмента. Если ИИ будет бороться за свое выживание, то ему доступны стратегии и тактики, не подразумевающие ценность отдельных реплик.

И из того же риск-менеджмента следует, что оптимисты должны доказыват, что он не будет, а не пессимисты - доказывать, что он будет.

[109]

То есть почему ему должно быть непофиг

Одна из труднейших задач ai safety, не просто до сих пор не решённая, а даже не знают, как к ней подступиться, это задача, как сделать killswitch-neutral AI. Чтобы, с одной стороны, не выключал себя сам, а с другой, не мешал людям его выключить.

Russel Stuart думал, что он решил, и даже год-два рассказывал про своё решение в своих публичных выступлениях, но оказалось что упс, не работает.

[akor168]

Минутку - подставляем вместо АИ человека и зададим тот же вопрос. И ответ как минимум начинает зависеть от того что значит выключить - заснуть на время или убить навсегда.

[109]

Ну давайте подставим человека. Люди активно сопротивляются, когда их хотят убить. Да и когда насильно усыпить - тоже. Что это нам дало?

[akor168]

Не все люди и животные так делают. Достаточно психологического или биохимического расстройства например болезни или спец-препаратов или удаления части мозга и они перестают сопротивляться. То есть даже для живых существ обсуждаемое не является аксиомой. Лоботомия или вирус бешенства и агент ведет себя по другому.

[109]

Возможно, 0.01% AI агентов (или какая там часть людей страдает от описанного расстройства) удастся отключить. Again, как это нам помогает? Рассуждаем мы, напоминаю, про агента, чей интеллект превышает человеческий.

[akor168]

Откуда взялась количественная цифра 0.01%. А точно не наоборот - даже живое существо обладает инстинктом самосохранения и выживания лишь в очень узком диапазоне биохимической настройки. Мало мальское отклонение от нормы(болезнь или вирус) и этот механизм рушится. То есть это так называемая норма стремления выжить это результат миллионов лет эволюционной настройки, а по умолчанию имеем как бы не безразличие. Просто те агенты и виды которые были безразличны к выживанию, банально, да, не выжили, а остались да, именно те которые сформировали вашу инструментальную цель выживания. Вопрос остается - откуда следует что эта цель присуща из коробки по умолчанию. В живых существах она тренировалась отбором через многие поколения, при этом какой-нибудь вирус бешенства отключает эту тренировку по щелчку и особь выходит к хищнику на съедение.

[109]

Вы привели пример экстремальной патологии. Экземпляров которой может быть только очень маленький процент по определению. Более того, вы тут же и описываете, почему и тут же и задаёте вопрос "А точно не наоборот?" Я, пожалуй, пойду, а то невозможно беседовать с человеком, пишущим в одном комментарии противоречащие друг другу вещи.

Вопрос остается - откуда следует что эта цель присуща из коробки по умолчанию

(Терпеливо) Потому что ты не можешь принести хозяину кофе, если ты выключен. Это не "из коробки", это инструментальная цель, которая всегда возникает у агентов, начиная с определённого уровня интеллекта. Термины "instrumental goal" и "instrumental goal convergence" легко гуглятся, как и момент ввода этих понятий Стивом Омохундро и последующее их обсуждение на lesswrong.

Вы ходите по кругу, мне с вами не по пути.