1) Сильный ИИ ничего этого не предотвратит, а может быть, и усугубит. О этом писал еще Станислав Лем. И никакого Скайнета не нужно, достаточно, например, "лечить наследственные заболевания" бесплодием или "предотвращать войны" массовой лоботомией. Посмотрите, как "решают" задачки современные нейросети - вот "сильный ИИ" будет делать так же, только на порядки хитрее. И если сейчас нейросеть, распознающая лица, способна заставить полицию задержать человека, похожего с ее точки зрения на преступника - то ваш "сильный ИИ" еще и сотрет из всех баз всю информацию, способную доказать алиби этого самого похожего. Просто чтобы увеличить количество успешных срабатываний.
2) Но есть и хорошие новости. Никакой "сильный ИИ" на базе нейросетей невозможен в принципе. Если возможен вообще. Так что и достижения, и проблемы, связанные с ИИ будут, конечно, нарастать - но глобальной опасности это все не представлят. Пока что, во всяком случае.
Я как раз читал этот фрагмент Лема ночью и должен заметить, что вы упустили важную вещь - он говорил не о нейронке как таковой, а о "черном ящике" - то есть любой сложной системе принятий решений, включая парламенты стран.
" Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)." (с) Лем, Сумма технологий
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества. И люди прекрасно, просто таки успешно генерируют подобные оптимизационные казусы и без всяких машин.
Я не говорю, что это хорошо, но это просто полностью убирают подобный страх перед механическим "черным ящиком". Чего вы боитесь? У нас уже сидит такой черный ящик и оптимизирует, оптимизирует нашу внутреннюю и внешнюю политику, рождаемость и культуру, миграцию и
( ... )
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества.Нет. Разница в том, что сложная система, состоящая из людей, может, конечно, произвести и даже начать внедрять решение, которое приведет к далеким, но совершенно ужасным последствиям - при том, что в моменте это решение будет казаться очень позитивным, а то и единственно возможным. Да, такое не исключено. Но люди, все же, сталкиваются с этой проблемой давно и, худо-бедно, научились с подобными вызовами справляться с помощью "систем сдержек и противовесов". Да и работают подобные сложные, потенциально ошибающиеся системы, состоящие из людей, довольно медленно
( ... )
Ничего подобного у него нет. Есть рассказ о долгом наложении странных казусов. Рассказов о всемогуществе электронного правителя тем более нет, о том, что он будет что-то делать модным.
Если вы вообразили себе, пишите отдельно под своим именем, издавайте труд - может тоже будете славным классиком, как пан Станислав.
Лем тут просто пример умного человека, который задумывался об этих проблемах еще много лет назад. И публично изложил свои соображения в доступной массам форме. Или вам точная цитата из него нужна для продолжения дискуссии?
По сути вопроса есть, что возразить? Нейросети не обязательно быть "электронным правителем", достаточно быть "электронным бюрократом". Она легко закидает решениями, каждое из которых будет железно обосновано и вполне позитивно. А по сумме быстро приведут в пропасть. https://ru.wikipedia.org/wiki/%D0%A6%D1%83%D0%B3%D1%86%D0%B2%D0%B0%D0%BD%D0%B3
у нас нет никаких доказательств, что электронный бюрократ "легко закидает нас решениями" - только фантазии
далее, я возвращаюсь к исходной своей позиции - прямо сейчас нас во всех странах все правительства закидывают решениями
Поэтому 1. даже если бы электронный бюрократ существовал, страх перед его решениями бессмысленен, так как мы уже имеем аналогичные безумные принтеры
2. если вы внедряете машину, внедряются и правила ее регулирования, с появлением автомобилей появились правила дорожного движения на таком уровне, которые не снились в XIX веке - поэтому ровно те же противовесы, что должны были бы работать на живых безумных принтерах, будут применять и к электронным
Каждый раз анализируя проблему, старайтесь вычитать из нее что-нибудь и смотреть, что изменилось. Если ничего, то вычтенное не является источником проблемы.
Следовательно, фантазия об всемогущем электронном бюрократе - беспочвенна и не реалистична. Есть реальные опасности, которые существуют и сегодня - непредвиденные комбинации легкодоступных вещей или законов - плохие
( ... )
Давайте я выскажусь проще. Вот что принципиально меняется с внедрением ИИ: 1) все происходит намного быстрее 2) последствия решений могут быть гораздо существенней (для того ИИ и внедряют, собственно, для увеличения эффектов).
Люди, в большинстве случаев, могут уследить за людьми или предсказать их поведение (что по сути не сильно отличается одно от другого). С нейросетями такое, в общем случае, не пройдет. Скайнет не будет воевать с людьми, он будет ими манипулировать: с такой потрясающей эффективностью, что они просто не будут успевать это осознавать. Будут пребывать в непрерывном трансе от происходящего, все привычные человеческие институты просто "подвиснут".
Тот кто генерирует и проверяет решения быстрее - тот и победит. Никакой сильный ИИ невозможен, но для того, чтобы обскакать людей в скорости генерации и проверки решений он и не нужен.
Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)."
А если наоборот - ИИ проанализирует ситуацию и предложит ввести БОД? Причем обоснует это. Кстати решение без обоснования от кого бы оно не исходило не может быть принято. И этого простого постулата вполне окажется достаточно чтобы отсеять радикальные решения. Если программа советует диету из 19 литров уксуса, то в ее обосновании будет лишь то что это самый дешевый набор продуктов исходя из параметра калорийности. Если что это популярная байка про ЭВМ еще из 70-80-х я читал ее в Пестром Мире Вокруг Света в дедушкиной подшивке когда был ребенком.
в более общем смысле Лем пишет о казусах, которые более популярно изложили Стругацкие в "Хищных вещах века" - чем более технологически развито общество, тем больше в нем комбинаций с неожиданными последствиями.
Лем приводил пример, как ряд полезных лекарств при сочетании в одном человеке внезапно дают неприятные последствия - потому что мало кто ожидал, да и мог промоделировать на контрольной группе животных все испытания современного человека.
Ну а Стругацкие пишут, как ряд бытовых штучек внезапно в комбинации дают очень приятные последствия.
И тут вообще надо не философию читать или фантастов, а просто открыть какие-нибудь популярные основы комбинаторики, чтобы посмотреть, какой взрыв дают множественные комбинации, а потом просто прикинуть количество артикулов в современном мире - и вы поймете, что и хвостик Лема, и запредельный доступный наркотик Стругацких с высокой долей вероятности уже доступны и в наши дни, просто по некоей доброй случайности еще не стали широко распространены.
Не помню точно, давно читал. То ли "Сумма", то ли какой-то фантастический рассказ, где Машина Управляющая Всем постепенно изводит человечество, причем каждое ее решение по-отдельности выглядит (да формально и является) безупречным . Может быть, кстати, Лем и так, и этак об этом предупредил.
2) Но есть и хорошие новости. Никакой "сильный ИИ" на базе нейросетей невозможен в принципе. Если возможен вообще. Так что и достижения, и проблемы, связанные с ИИ будут, конечно, нарастать - но глобальной опасности это все не представлят. Пока что, во всяком случае.
Reply
Я как раз читал этот фрагмент Лема ночью и должен заметить, что вы упустили важную вещь - он говорил не о нейронке как таковой, а о "черном ящике" - то есть любой сложной системе принятий решений, включая парламенты стран.
" Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди)." (с) Лем, Сумма технологий
То есть речь идет не о проблеме нейронок, а о проблемах оптимизаций в сложных системах наподобие нашего общества. И люди прекрасно, просто таки успешно генерируют подобные оптимизационные казусы и без всяких машин.
Я не говорю, что это хорошо, но это просто полностью убирают подобный страх перед механическим "черным ящиком". Чего вы боитесь? У нас уже сидит такой черный ящик и оптимизирует, оптимизирует нашу внутреннюю и внешнюю политику, рождаемость и культуру, миграцию и ( ... )
Reply
Reply
// Нет.
Вы за Лема что ли отвечаете?
Ничего подобного у него нет. Есть рассказ о долгом наложении странных казусов. Рассказов о всемогуществе электронного правителя тем более нет, о том, что он будет что-то делать модным.
Если вы вообразили себе, пишите отдельно под своим именем, издавайте труд - может тоже будете славным классиком, как пан Станислав.
Reply
По сути вопроса есть, что возразить? Нейросети не обязательно быть "электронным правителем", достаточно быть "электронным бюрократом". Она легко закидает решениями, каждое из которых будет железно обосновано и вполне позитивно. А по сумме быстро приведут в пропасть. https://ru.wikipedia.org/wiki/%D0%A6%D1%83%D0%B3%D1%86%D0%B2%D0%B0%D0%BD%D0%B3
Reply
у нас нет никаких доказательств, что электронный бюрократ "легко закидает нас решениями" - только фантазии
далее, я возвращаюсь к исходной своей позиции - прямо сейчас нас во всех странах все правительства закидывают решениями
Поэтому
1. даже если бы электронный бюрократ существовал, страх перед его решениями бессмысленен, так как мы уже имеем аналогичные безумные принтеры
2. если вы внедряете машину, внедряются и правила ее регулирования, с появлением автомобилей появились правила дорожного движения на таком уровне, которые не снились в XIX веке - поэтому ровно те же противовесы, что должны были бы работать на живых безумных принтерах, будут применять и к электронным
Каждый раз анализируя проблему, старайтесь вычитать из нее что-нибудь и смотреть, что изменилось. Если ничего, то вычтенное не является источником проблемы.
Следовательно, фантазия об всемогущем электронном бюрократе - беспочвенна и не реалистична. Есть реальные опасности, которые существуют и сегодня
- непредвиденные комбинации легкодоступных вещей или законов
- плохие ( ... )
Reply
1) все происходит намного быстрее
2) последствия решений могут быть гораздо существенней (для того ИИ и внедряют, собственно, для увеличения эффектов).
Люди, в большинстве случаев, могут уследить за людьми или предсказать их поведение (что по сути не сильно отличается одно от другого). С нейросетями такое, в общем случае, не пройдет. Скайнет не будет воевать с людьми, он будет ими манипулировать: с такой потрясающей эффективностью, что они просто не будут успевать это осознавать. Будут пребывать в непрерывном трансе от происходящего, все привычные человеческие институты просто "подвиснут".
Тот кто генерирует и проверяет решения быстрее - тот и победит. Никакой сильный ИИ невозможен, но для того, чтобы обскакать людей в скорости генерации и проверки решений он и не нужен.
Reply
То-то серьезные вещи едут в штаты лечить
Reply
Reply
в более общем смысле Лем пишет о казусах, которые более популярно изложили Стругацкие в "Хищных вещах века" - чем более технологически развито общество, тем больше в нем комбинаций с неожиданными последствиями.
Лем приводил пример, как ряд полезных лекарств при сочетании в одном человеке внезапно дают неприятные последствия - потому что мало кто ожидал, да и мог промоделировать на контрольной группе животных все испытания современного человека.
Ну а Стругацкие пишут, как ряд бытовых штучек внезапно в комбинации дают очень приятные последствия.
И тут вообще надо не философию читать или фантастов, а просто открыть какие-нибудь популярные основы комбинаторики, чтобы посмотреть, какой взрыв дают множественные комбинации, а потом просто прикинуть количество артикулов в современном мире - и вы поймете, что и хвостик Лема, и запредельный доступный наркотик Стругацких с высокой долей вероятности уже доступны и в наши дни, просто по некоей доброй случайности еще не стали широко распространены.
Reply
подобное правило применимо и к развитой бюрократии, и к сложным социальным отношениям
Reply
Насчёт Лема, если не затруднит, какой это текст про усугубление ?
Сумма ?
Reply
Reply
Помню, это не сумма, там где вошли в Ворота и потом их превратили в кругляши. Ну это перепевка Илоев и морлоков.
Reply
звездные дневники йона тихого, путешествие 24-е
Reply
Спасибо !
Reply
Leave a comment