будущий адвокат растет

[avva]

Д. получил задание в школе (4-й класс) сделать презентацию из трех слайдов про какого-нибудь видного израильского деятеля прошлых времен. На первом слайде биографические данные; на втором три его важных качества и как они проявлялись в его жизни; на третьем сочинение минимум из 10 строк о том, почему он выбрал именно этого человека и чем он ему

Comments

[snakysnick]

Ну вот, а они такие пугалки про искусственный интеллект рассказывают.
Хайпожоры не перетрудились: достаточно было понаблюдать за обыкновенными детьми.
На конференции USAF's Chief of AI Test and Operations, которая состоялась на Future Combat Air и Space Capabilities Summit в Лондоне 23 и 24 мая, полковник Такер "Синко" Хэмилтон рассказывал о преимуществах и недостатках автономного вооруженного бесилотника с человеком в петле принятия решений -- последний только дает разрешение на атаку. Оказалось, что ИИ создал чрезвычайно неожиданные стратегии для достижения своей цели: "Мы тренировали систему на симуляторе, чтобы находить комплексы ПВО. Задача оператора было сказать "да, уничтожай угрозу", или "нет, ничего не делай". Система со временем начала понимать, что человек иногда говорил ей не бить по цели, за уничтожение которой ИИ получил бы баллы. И что она сделала? Она нанесла удар по оператору, потому что он помешал ей выполнить поставленную задачу". Он продолжил разъяснение, говоря: "Мы изменили параметры тренировки системы, мол "Эй, не убивай оператора, это плохо. Ты потеряешь баллы, если будешь так делать". После этого ИИ начал уничтожать башню с передающей антенной, которую оператор использовал для связи с беспилотным летательным аппаратом."
Зачем искусственному интеллекту убивать всех человеков?

[triky121]

пиздеж. оператор сидит за половину шарика от дрона. даже на учениях

[snakysnick]

Это был "мысленный эксперимент", симулятор.

[triky121]

все равно пиздеж.

уничтожение оператора делает невозможным отдачу приказа "да, уничтожай угрозу" и, следовательно, получение очков.

с башней тоже самое

[snakysnick]

У него могли быть дополнительные инструкции на случай потери связи: переходить в полностью автономный режим, например.
Ну или речь о том, что система приняла решение, которое делало выполнение дальнейшей задачи невозможным, т.е. речь об ошибочном решении, которое по-идее, должно было привести к тому, что будет устранена помеха, мешающая зарабатывать баллы, а оказалось, что после убийства оператора вообще никаких баллов заработать нельзя.
ИИ может изначально и не соображать, что после убийства оператора не будет никаких баллов вообще.
Сначала ему нужно наколошматить некоторое количество операторов, чтобы получить возможность усвоить, что это решение не несет выгоды.

[triky121]

такое простое обучение проводится в симуляции за минуты.

или так, за час

[snakysnick]

Дык хто ж против-то?
Речь о первом разе, когда ИИ принял решение убить оператора.
Важно, что он все-таки принял это решение, а не что было с его обучением потом.

[triky121]

хватит уже юлить. ты росиянин, что ли?

"полковник Такер "Синко" Хэмилтон" рассказывал на конференции то, что все кто в теме знают уже лет 20?

[snakysnick]

Кто как обзывается тот сам так и называется.
Для тех, у кого проблемы с объемом оперативной памяти и поэтому им трудно удерживать контекст, напомню, что речь шла о хайпожорах, пугающих обывателя "нечеловеческой" логикой ИИ.
Хотя в действительности такую логику мы можем видеть сплошь и рядом, хоть бы и у тех же детей.

[triky121]

"напомню, что речь шла о хайпожорах, пугающих обывателя "нечеловеческой" логикой ИИ"

и кто же этот хайпожер?

ты не мог бы тратить чуть больше времени на обдумывание ответа, а не редактировать его пять раз?

[snakysnick]

Ну, если бы ты тратил чуть больше времени на обдумывание прочитанного, то тебе вообще не пришлось бы каменты писать, а мне - редактировать ответы на них.
Попробуй еще раз прочитать первый камент
https://avva.livejournal.com/3562486.html?thread=184083446#t184083446
только внимательно. Сходить по всем ссылкам и т.п. А потом подумать стоило ли задавать вопрос типа "и кто этот хайопожер" если вся необходимая информация (в т.ч. и для ответа на этот вопрос) уже была предоставлена.

[triky121]

тот комент тоже изменен хер знает сколько раз.

устал я от тебя.

[snakysnick]

А ты как думал? Это тебе не вагоны на свежем воздухе в свое удовольствие разгружать! Но ничо, это полезная усталость.

[snakysnick]

А вот еще спискота по хайпожорам.
https://www.safe.ai/statement-on-ai-risk
Только там не все хайпожоры. Чтобы отделить хайпожоров от тех, кто просто делает свой бизнес, там есть галочка:
"показать только AI Scientists" и "Other Notable Figures"
Вот эти вот "Other Notable Figures" - хайопожоры и есть.

[gholam]

Это был мысленный эксперимент который ни разу не симулятор, т.е. полковник пофантазировал как по его мнению ИИ мог бы себя вести если этой железке доверить управление боевым самолётом. А так как, по мнению полковника, если ИИ дать управление самолётом то он наломает дров, делать этого нельзя, и пилотов из кабины выгонять не следует ни в коем случае. По мнению пилота.

[snakysnick]

Это был мысленный эксперимент о том как ИИ мог бы вести себя в симуляторе.