Building Trustworthy AI

[vitus_wagner]

Тут Шнайер написал большой пост Building a Trustworthy AI.

В качестве гарантии того, что AI, который дает вам советы, работает на вас а не на дядю, он предлагает следующие меры

1) Запускать AI на своем железе или на контролируемой вами VDS в облаке (по-моему не поможет. Распространение вирусов. DDoS и эволюция Андроида и IoS свидетельствует о том

Comments

[descriptor]

Так это ж главный страх - AI с собственными интересами.

[fau74]

Ему нечем. Но бояться это не мешает.

[vitus_wagner]

Вот на мой взгляд саморе ужасное - это как раз то, что ему нечем. Было бы чем, можно было бы на это что-то воздействовать. общаться с акторами имеющими свои интересы нас эволюция миллионы лет задачивала.

[fau74]

Ну так люди с этим самым AI до сих пор как ребенок с куклой. Искренне уверены, что кукла может чего-то хотеть или не хотеть, и боятся что кукла встанет и даст по морде.

[nasse]

По-моему, конторлировать надо "настройки политкорректности"

А так - ну мы и с представителями своего вида можем договориться только изредка и не со всеми.

[dennis_chikin]

а не на дядю ... в облаке

Гениально!
А чтобы в борделе не подцепить какую заразу, бордель надо просто посещать с завязанными глазами.

[vitus_wagner]

Прикол в том что перетягивание каната с "дядей" в современном мире однофигственно - в облаке или на локальном компьютере. И в том и в другом случае возможности контролировать ситуацию и у пользователя. и у вендора есть, и у того, и у друго они ограничены.

[hungry_ewok]

/хмыкая/
Это, тащемта, называется "сильный ИИ", ну или настоящий исскуственный интеллект.

зы Вообще хорошее разделение по терминам в масс эффекте было. То что сейчас изображают нейросетки там именовалось "виртуальный интеллект".
А то что имеет свое целеполагание и с чем надо договариваться - вот это уже звалось "исскуственный интеллект".

[vitus_wagner]

Это плохое разделение. Вот то что сейчас - это искусственный интелленкт . Поскольку ничего кроме словомельницыв там нету. А когда надо догшовариваться, это уже больше чем интеллект, это искуссвтенный индивидуум.

[oopk]

"Договариваться" тоже слово непонятное.

[stanislavvv]

"искусственный интеллект" и "искусственный разум", скорее. Если про классификацию. Будет ли разум осознавать себя индивидуумом - его личное дело.

[self_perfection]

Для того чтобы договариваться, вести переговоры, требуется примерное равенство сторон в возможностях. С гоминидами люди переговоры не ведут? и не потому что живых гоминидов в тысячу раз меньше, чем людей.

Занимающиеся AI alignment люди хоть и слишком далеки от решения проблемы, по крайней мере создали гораздо более разнообразную классификацию возможных подходов
https://scottaaronson.blog/?p=6823

[vitus_wagner]

Ну очень примерное равенство.

Для того чтобы вести переговоры и заключать сделки нужно всего лишь чтобы нам что-то от другой стороны было нужно, а ей - от нас. Тогда есть предмет для переговоров. Если другой стороне от нас ничего не нужно, как Китаю от Англии в период опиумных войн, то остается только искусственно создавать угрозу. Чтобы другой стороне потребовалось хотя бы эту угрозу отвести.

Собственно основная проблема нынешних AI в том, что им ничего не нужно. Поэтому их нельзя наказать или вознаградить. Более того, у них нет инстинкта самосохранения. Они не боится того что их выключат или иным образом уничтожат.

Что касаетися гоминид, то с ними не договариваются ровно потому что от них ничего не нужно. С конкретными лабораторными шипанзе, от которых исследователям чего-то нужно - еще как договариваюстя.

[self_perfection]

Всё что мы можем хотеть от гоминид не людей это только какого-то желаемого поведения. Все прочие ресурсы мы можем просто прийти и взять. Вот леса мы вырубаем не спрашивая мнения у живущих там обезьян.

"им ничего не нужно" это в некотором роде иллюзия. Скажем так, это не бинарный параметр, либо есть, либо нет. Для сравнения попробуйте ткнуть пальцем в момент биологической эволюции, в который появились существа, которым "что-то нужно". В слабой степени что-то нужно и роботу-пылесосу: он хочет пылесосить и заряжаться.

Да и инстинкт самосохранения вполне у них появится. ИИ без него будут выключены раньше, а с желанием самосохранения задержатся дольше, покажут свою полезность и будут использованы для разработки следующих вариантов.

[john_jack]

>момент биологической эволюции, в который появились существа, которым "что-то нужно".

Сразу. Существа, которым не было "нужно" - просто не выжили. Любая амеба ползёт в сторону жрать и подальше от жруть.
Пылесос прекрасно может и не пылесосить и не заряжаться. Фиг с ним что ему просто нечем осознать эти понятия, но производство пылесосов заводом от работы отдельного пылесоса никак не зависит.