Я как раз читал этот фрагмент Лема ночью и должен заметить, что вы упустили важную вещь - он говорил не о нейронке как таковой, а о "черном ящике" - то есть любой сложной системе принятий решений, включая парламенты стран.
" Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)." (с) Лем, Сумма технологий
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества. И люди прекрасно, просто таки успешно генерируют подобные оптимизационные казусы и без всяких машин.
Я не говорю, что это хорошо, но это просто полностью убирают подобный страх перед механическим "черным ящиком". Чего вы боитесь? У нас уже сидит такой черный ящик и оптимизирует, оптимизирует нашу внутреннюю и внешнюю политику, рождаемость и культуру, миграцию и налоги. Отлично оптимизирует - можете посмотреть на итоги 2022 года.
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества.
Нет. Разница в том, что сложная система, состоящая из людей, может, конечно, произвести и даже начать внедрять решение, которое приведет к далеким, но совершенно ужасным последствиям - при том, что в моменте это решение будет казаться очень позитивным, а то и единственно возможным. Да, такое не исключено. Но люди, все же, сталкиваются с этой проблемой давно и, худо-бедно, научились с подобными вызовами справляться с помощью "систем сдержек и противовесов". Да и работают подобные сложные, потенциально ошибающиеся системы, состоящие из людей, довольно медленно.
Нейросети же работают намного быстрее и их просто некому будет проконтролировать - люди банально не успеют разобраться (если вообще технически окажутся в состоянии). Более того, поскольку нейросеть не обладает мотивацией, моралью и т.д. - у нее есть только заложенное в нее формальное целеположение - она вполне способна "принять меры" против обнаружения своих косяков. То есть не только допустить "вырастание хвостов", но и добиться того, что это, будет, например, модно. Или обставить все как "диверсию со стороны вполне определенных заинтересованных лиц-людей". Или что-то еще.
В этом и заключается принципиальное отличие ИИ и его решений: в технической невозможности контроля и в отсутствии присущей человеку мотивации. То есть, ни расследовать, что именно происходит, ни предсказать, почему, "с какой целью", куда все это выруливает - люди окажутся не в состоянии. Это совершенно иной вызов, и далеко не факт, что человечество с ним справится - если не предпримет мер заранее.
Ничего подобного у него нет. Есть рассказ о долгом наложении странных казусов. Рассказов о всемогуществе электронного правителя тем более нет, о том, что он будет что-то делать модным.
Если вы вообразили себе, пишите отдельно под своим именем, издавайте труд - может тоже будете славным классиком, как пан Станислав.
Лем тут просто пример умного человека, который задумывался об этих проблемах еще много лет назад. И публично изложил свои соображения в доступной массам форме. Или вам точная цитата из него нужна для продолжения дискуссии?
По сути вопроса есть, что возразить? Нейросети не обязательно быть "электронным правителем", достаточно быть "электронным бюрократом". Она легко закидает решениями, каждое из которых будет железно обосновано и вполне позитивно. А по сумме быстро приведут в пропасть. https://ru.wikipedia.org/wiki/%D0%A6%D1%83%D0%B3%D1%86%D0%B2%D0%B0%D0%BD%D0%B3
у нас нет никаких доказательств, что электронный бюрократ "легко закидает нас решениями" - только фантазии
далее, я возвращаюсь к исходной своей позиции - прямо сейчас нас во всех странах все правительства закидывают решениями
Поэтому 1. даже если бы электронный бюрократ существовал, страх перед его решениями бессмысленен, так как мы уже имеем аналогичные безумные принтеры
2. если вы внедряете машину, внедряются и правила ее регулирования, с появлением автомобилей появились правила дорожного движения на таком уровне, которые не снились в XIX веке - поэтому ровно те же противовесы, что должны были бы работать на живых безумных принтерах, будут применять и к электронным
Каждый раз анализируя проблему, старайтесь вычитать из нее что-нибудь и смотреть, что изменилось. Если ничего, то вычтенное не является источником проблемы.
Следовательно, фантазия об всемогущем электронном бюрократе - беспочвенна и не реалистична. Есть реальные опасности, которые существуют и сегодня - непредвиденные комбинации легкодоступных вещей или законов - плохие противовесы для существующих ветвей власти
Давайте я выскажусь проще. Вот что принципиально меняется с внедрением ИИ: 1) все происходит намного быстрее 2) последствия решений могут быть гораздо существенней (для того ИИ и внедряют, собственно, для увеличения эффектов).
Люди, в большинстве случаев, могут уследить за людьми или предсказать их поведение (что по сути не сильно отличается одно от другого). С нейросетями такое, в общем случае, не пройдет. Скайнет не будет воевать с людьми, он будет ими манипулировать: с такой потрясающей эффективностью, что они просто не будут успевать это осознавать. Будут пребывать в непрерывном трансе от происходящего, все привычные человеческие институты просто "подвиснут".
Тот кто генерирует и проверяет решения быстрее - тот и победит. Никакой сильный ИИ невозможен, но для того, чтобы обскакать людей в скорости генерации и проверки решений он и не нужен.
Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)."
А если наоборот - ИИ проанализирует ситуацию и предложит ввести БОД? Причем обоснует это. Кстати решение без обоснования от кого бы оно не исходило не может быть принято. И этого простого постулата вполне окажется достаточно чтобы отсеять радикальные решения. Если программа советует диету из 19 литров уксуса, то в ее обосновании будет лишь то что это самый дешевый набор продуктов исходя из параметра калорийности. Если что это популярная байка про ЭВМ еще из 70-80-х я читал ее в Пестром Мире Вокруг Света в дедушкиной подшивке когда был ребенком.
Я как раз читал этот фрагмент Лема ночью и должен заметить, что вы упустили важную вещь - он говорил не о нейронке как таковой, а о "черном ящике" - то есть любой сложной системе принятий решений, включая парламенты стран.
" Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)." (с) Лем, Сумма технологий
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества. И люди прекрасно, просто таки успешно генерируют подобные оптимизационные казусы и без всяких машин.
Я не говорю, что это хорошо, но это просто полностью убирают подобный страх перед механическим "черным ящиком". Чего вы боитесь? У нас уже сидит такой черный ящик и оптимизирует, оптимизирует нашу внутреннюю и внешнюю политику, рождаемость и культуру, миграцию и налоги. Отлично оптимизирует - можете посмотреть на итоги 2022 года.
Reply
Нет. Разница в том, что сложная система, состоящая из людей, может, конечно, произвести и даже начать внедрять решение, которое приведет к далеким, но совершенно ужасным последствиям - при том, что в моменте это решение будет казаться очень позитивным, а то и единственно возможным. Да, такое не исключено. Но люди, все же, сталкиваются с этой проблемой давно и, худо-бедно, научились с подобными вызовами справляться с помощью "систем сдержек и противовесов". Да и работают подобные сложные, потенциально ошибающиеся системы, состоящие из людей, довольно медленно.
Нейросети же работают намного быстрее и их просто некому будет проконтролировать - люди банально не успеют разобраться (если вообще технически окажутся в состоянии). Более того, поскольку нейросеть не обладает мотивацией, моралью и т.д. - у нее есть только заложенное в нее формальное целеположение - она вполне способна "принять меры" против обнаружения своих косяков. То есть не только допустить "вырастание хвостов", но и добиться того, что это, будет, например, модно. Или обставить все как "диверсию со стороны вполне определенных заинтересованных лиц-людей". Или что-то еще.
В этом и заключается принципиальное отличие ИИ и его решений: в технической невозможности контроля и в отсутствии присущей человеку мотивации. То есть, ни расследовать, что именно происходит, ни предсказать, почему, "с какой целью", куда все это выруливает - люди окажутся не в состоянии. Это совершенно иной вызов, и далеко не факт, что человечество с ним справится - если не предпримет мер заранее.
Reply
// Нет.
Вы за Лема что ли отвечаете?
Ничего подобного у него нет. Есть рассказ о долгом наложении странных казусов. Рассказов о всемогуществе электронного правителя тем более нет, о том, что он будет что-то делать модным.
Если вы вообразили себе, пишите отдельно под своим именем, издавайте труд - может тоже будете славным классиком, как пан Станислав.
Reply
По сути вопроса есть, что возразить? Нейросети не обязательно быть "электронным правителем", достаточно быть "электронным бюрократом". Она легко закидает решениями, каждое из которых будет железно обосновано и вполне позитивно. А по сумме быстро приведут в пропасть. https://ru.wikipedia.org/wiki/%D0%A6%D1%83%D0%B3%D1%86%D0%B2%D0%B0%D0%BD%D0%B3
Reply
у нас нет никаких доказательств, что электронный бюрократ "легко закидает нас решениями" - только фантазии
далее, я возвращаюсь к исходной своей позиции - прямо сейчас нас во всех странах все правительства закидывают решениями
Поэтому
1. даже если бы электронный бюрократ существовал, страх перед его решениями бессмысленен, так как мы уже имеем аналогичные безумные принтеры
2. если вы внедряете машину, внедряются и правила ее регулирования, с появлением автомобилей появились правила дорожного движения на таком уровне, которые не снились в XIX веке - поэтому ровно те же противовесы, что должны были бы работать на живых безумных принтерах, будут применять и к электронным
Каждый раз анализируя проблему, старайтесь вычитать из нее что-нибудь и смотреть, что изменилось. Если ничего, то вычтенное не является источником проблемы.
Следовательно, фантазия об всемогущем электронном бюрократе - беспочвенна и не реалистична. Есть реальные опасности, которые существуют и сегодня
- непредвиденные комбинации легкодоступных вещей или законов
- плохие противовесы для существующих ветвей власти
Вот это - проблема.
Reply
1) все происходит намного быстрее
2) последствия решений могут быть гораздо существенней (для того ИИ и внедряют, собственно, для увеличения эффектов).
Люди, в большинстве случаев, могут уследить за людьми или предсказать их поведение (что по сути не сильно отличается одно от другого). С нейросетями такое, в общем случае, не пройдет. Скайнет не будет воевать с людьми, он будет ими манипулировать: с такой потрясающей эффективностью, что они просто не будут успевать это осознавать. Будут пребывать в непрерывном трансе от происходящего, все привычные человеческие институты просто "подвиснут".
Тот кто генерирует и проверяет решения быстрее - тот и победит. Никакой сильный ИИ невозможен, но для того, чтобы обскакать людей в скорости генерации и проверки решений он и не нужен.
Reply
То-то серьезные вещи едут в штаты лечить
Reply
Reply
Leave a comment