Building Trustworthy AI

[vitus_wagner]

Тут Шнайер написал большой пост Building a Trustworthy AI.

В качестве гарантии того, что AI, который дает вам советы, работает на вас а не на дядю, он предлагает следующие меры

1) Запускать AI на своем железе или на контролируемой вами VDS в облаке (по-моему не поможет. Распространение вирусов. DDoS и эволюция Андроида и IoS свидетельствует о том

Comments

[self_perfection]

Для того чтобы договариваться, вести переговоры, требуется примерное равенство сторон в возможностях. С гоминидами люди переговоры не ведут? и не потому что живых гоминидов в тысячу раз меньше, чем людей.

Занимающиеся AI alignment люди хоть и слишком далеки от решения проблемы, по крайней мере создали гораздо более разнообразную классификацию возможных подходов
https://scottaaronson.blog/?p=6823

[vitus_wagner]

Ну очень примерное равенство.

Для того чтобы вести переговоры и заключать сделки нужно всего лишь чтобы нам что-то от другой стороны было нужно, а ей - от нас. Тогда есть предмет для переговоров. Если другой стороне от нас ничего не нужно, как Китаю от Англии в период опиумных войн, то остается только искусственно создавать угрозу. Чтобы другой стороне потребовалось хотя бы эту угрозу отвести.

Собственно основная проблема нынешних AI в том, что им ничего не нужно. Поэтому их нельзя наказать или вознаградить. Более того, у них нет инстинкта самосохранения. Они не боится того что их выключат или иным образом уничтожат.

Что касаетися гоминид, то с ними не договариваются ровно потому что от них ничего не нужно. С конкретными лабораторными шипанзе, от которых исследователям чего-то нужно - еще как договариваюстя.

[self_perfection]

Всё что мы можем хотеть от гоминид не людей это только какого-то желаемого поведения. Все прочие ресурсы мы можем просто прийти и взять. Вот леса мы вырубаем не спрашивая мнения у живущих там обезьян.

"им ничего не нужно" это в некотором роде иллюзия. Скажем так, это не бинарный параметр, либо есть, либо нет. Для сравнения попробуйте ткнуть пальцем в момент биологической эволюции, в который появились существа, которым "что-то нужно". В слабой степени что-то нужно и роботу-пылесосу: он хочет пылесосить и заряжаться.

Да и инстинкт самосохранения вполне у них появится. ИИ без него будут выключены раньше, а с желанием самосохранения задержатся дольше, покажут свою полезность и будут использованы для разработки следующих вариантов.

[john_jack]

>момент биологической эволюции, в который появились существа, которым "что-то нужно".

Сразу. Существа, которым не было "нужно" - просто не выжили. Любая амеба ползёт в сторону жрать и подальше от жруть.
Пылесос прекрасно может и не пылесосить и не заряжаться. Фиг с ним что ему просто нечем осознать эти понятия, но производство пылесосов заводом от работы отдельного пылесоса никак не зависит.

[self_perfection]

Ух на это прям столько всего можно ответить.

1) Сразу как что? Я не биолог, но кажется по современным представлениям между первыми молекулами, способными слегка каталитически повышать вероятность появления себе подобных и способными реагировать на стимулы клетками сотни миллионов лет эволюции и отбора. Если бы у нас был "телескоп времени" и мы могли пронаблюдать весь этот процесс, смогли бы вы указать на мутацию, начиная с которой "ему стало что-то нужно"?

[self_perfection]

2) Нужно разделить "мотивацию индивида" и "принцип/процесс который этого индивида породил". Для биологической эволюции такой принцип это отбор тех вариантов, которые дают больше потомства (это не совсем так, оптимизируется количество копий гена, но упростим). Для данной конкретной амёбы это будет ну скажем "жрать сладкое и убегать от кислого". О том, что такое поведение повысит мат ожидание количества её потомков амёба даже не "задумывается". Ей нечем осознать такие понятия, хотя биологическая эволюция на них работает

[john_jack]

>смогли бы вы указать на мутацию, начиная с которой "ему стало что-то нужно