Что сказал Юдковский о людоедском ИИ: huetata around "Pause Giant AI Experiments: An Open Letter"
31 марта 2023 я опубликовал эссе https://alex-rozoff.livejournal.com/659972.html "Скандальное письмо против развития ИИ. С чего вдруг Маск и Ко стали цифровыми луддитами? Ищем корни" про открытое письмо на сайте Future of Life Institute от 28 марта 2023: "Приостановить гигантские эксперименты с искусственным интеллектом: (Мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4.)" - и я был уверен, что еще вернусь к теме... Но не думал, что так скоро. Однако же вот - добрые люди прислали ссылку на статью Юдковского
https://ru.wikipedia.org/wiki/Юдковский,_Элиезер
Оказывается она опубликована в "TIME" еще 31 марта
Pausing AI Developments Isn't Enough. We Need to Shut it All Down
BY ELIEZER YUDKOWSKY MARCH 29, 2023
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
Прочтя это, я некоторое время пребывал в такой импрессивной эйфории, что не мог решить, как озаглавить и иллюстрировать комментарий к такому феерическому троллингу, но в итоге остановился на клипе кЫ-TV:
Ниже привожу текст Юдковского в чисто автоматическом Google-переводе (чтобы читатель все время видел реальный убогий уровень нынешних "интеллектуальных" программ) и добавляю лишь [мои комментарии - A.R.]
Приостановки разработки ИИ недостаточно. Нам нужно закрыть все это. ЭЛИЭЗЕР ЮДКОВСКИЙ, 29 марта 2023 г.
В открытом письме, опубликованном сегодня, содержится призыв ко «всем лабораториям ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4».
Этот 6-месячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто вышел и подписал его. Это улучшение на пределе. Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации и требует слишком мало для ее решения.
[A.R. - сухой остаток: Юдковский НЕ ПОДПИСАЛ письмо, что дает ему этическое право нещадно троллить на эту тему. А троллить он умеет превосходно - взять хотя бы высокоморальных инопланетян - пожирателей детей в его новелле "Тройной контакт". Кстати, в этой его статье тоже будет щедрая доза фантастики про будущих убиенных детей]
Ключевой вопрос не в «человеко-конкурентном» интеллекте (как говорится в открытом письме); это то, что происходит после того, как ИИ становится умнее человеческого. Ключевые пороги там могут быть неочевидными, мы определенно не можем заранее рассчитать, что и когда произойдет, и в настоящее время кажется возможным, что исследовательская лаборатория переступит критические границы, не заметив этого. Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все на Земле умрут. Не как «может быть, какой-то отдаленный шанс», а как «очевидно, что это произойдет». Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел.
Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и ему будет наплевать ни на нас, ни на разумную жизнь в целом. Такая забота в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать.
[A.R. - можно подумать, что на пороге нашего планетарного дома появился смертоносный Скайнет из старого культового голливудского триллера "Терминатор", хотя на самом деле речь идет о корявом интерактивном составителе текстов по образцам из большой таблицы. И речь лишь о том, что эти тексты чуть менее корявые, чем у робота, заменившего живого оператора в службе сервиса, так что теперь вы проклинаете кибернетику каждый раз, когда вам нужно вызвать наладчика]
В отсутствие этой заботы мы получаем «ИИ не любит вас и не ненавидит вас, и вы сделаны из атомов, которые он может использовать для чего-то другого».
Вероятный результат противостояния человечества противостоящему сверхчеловеческому разуму - полная потеря. Подходящие метафоры включают «10-летний ребенок, пытающийся играть в шахматы против Stockfish 15», «11-й век пытается бороться с 21-м веком» и «Австралопитек пытается бороться с Homo sapiens».
[A.R. - ...ИИ безнадежно пытается пройти "кофейный тест", легко проходимый 10-летним ребенком. Хотя нет, не пытается, чтобы слово "интеллект" применительно к нему не выглядело уж совсем смешным]
Чтобы визуализировать враждебный сверхчеловеческий ИИ, не представляйте себе безжизненного умного мыслителя, живущего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, изначально ограниченную компьютерами - в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволяет ИИ, изначально привязанному к Интернету, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.
[A.R. - представьте себе супер-интеллектуального бота-спамера, который может в диалоге убедить вас купить любую ненужную вам дряньку или пожертвовать деньги на любую фигню. Пока такого бота мы не наблюдаем - и это значит, что ИИ не может освоить даже навыки среднего подростка из табора цыган-традиционалистов. Какая уж тут, на фиг, инопланетная цивилизация? Юдковский вдохновенно троллит]
Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.
Нет предложенного плана того, как мы могли бы сделать что-то подобное и выжить. Открыто объявленное намерение OpenAI состоит в том, чтобы заставить какой-нибудь будущий ИИ выполнять нашу домашнюю работу по выравниванию ИИ. Одного только слуха о том, что это план, должно быть достаточно, чтобы любой здравомыслящий человек запаниковал. У другой ведущей лаборатории искусственного интеллекта, DeepMind, вообще нет плана.
[A.R. - если "любой здравомыслящий человек" не запаниковал от недавнего плана сохранять гражданские и человеческие права лишь у тех, кто раз в полгода обновляет электронный сертификат - уколом жижи против понарошку смертельного насморка, то для паники нужно что-то посильнее этих рассуждений]
В стороне: ни одна из этих опасностей не зависит от того, являются ли ИИ сознательными или могут ли они быть сознательными; это присуще понятию мощных когнитивных систем, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям результата. С учетом сказанного, я был бы небрежен в своих моральных обязанностях человека, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы понятия не имеем, как декодировать все, что происходит. в гигантских непостижимых массивах - и поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не собственность.
[A.R. - забавные рассуждения в свете того, что мы даже теоретически не подошли к "понятию мощных когнитивных систем, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям результата"]
Правило, которое большинство людей, осведомленных об этих проблемах, поддержали бы 50 лет назад, заключалось в том, что если система ИИ может бегло говорить и говорить, что она обладает самосознанием и требует соблюдения прав человека, это должно стать серьезным препятствием для людей, просто случайно владеющих этим ИИ. и использовать его после этого момента. Мы уже миновали эту старую линию на песке. И это, вероятно, было правильно; Я согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании на основе своих тренировочных данных. Но я отмечаю, что, несмотря на то, что у нас мало знаний о внутреннем устройстве этих систем, мы на самом деле ничего не знаем.
Если это наше состояние невежества в отношении GPT-4, а GPT-5 - это гигантский шаг того же размера, что и от GPT-3 до GPT-4, я думаю, что мы больше не сможем обоснованно сказать «вероятно, не само- в курсе», если мы позволим людям делать GPT-5. Это будет просто «я не знаю; никто не знает." Если вы не можете быть уверены, создаете ли вы самоосознающий ИИ, это вызывает тревогу не только из-за моральных последствий «самоосознающей» части, но и потому, что неуверенность означает, что вы понятия не имеете, что делаете. и это опасно, и вы должны остановиться.
[A.R. - еще раз вспомним робота, заменившего живого оператора в службе сервиса, так что теперь вы проклинаете кибернетику каждый раз, когда вам нужно вызвать наладчика]
7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал, что новый Bing заставит Google «выйти и показать, что они умеют танцевать». «Я хочу, чтобы люди знали, что мы заставили их танцевать», - сказал он.
В здравом мире генеральный директор Microsoft говорит иначе. Это показывает огромный разрыв между тем, насколько серьезно мы относимся к проблеме, и тем, насколько серьезно мы должны были относиться к проблеме, начиная с 30 лет назад.
Мы не собираемся ликвидировать этот разрыв за шесть месяцев.
Потребовалось более 60 лет между тем, когда понятие искусственного интеллекта было впервые предложено и изучено, и тем, чтобы мы достигли сегодняшних возможностей. Решение вопроса о безопасности сверхчеловеческого разума - не совершенной безопасности, безопасности в смысле «не убивать буквально всех» - вполне обоснованно может занять как минимум половину этого времени. А в том, чтобы попробовать это со сверхчеловеческим интеллектом, важно то, что если вы ошибетесь с первой попытки, вы не сможете учиться на своих ошибках, потому что вы мертвы.
[A.R. - понятие искусственного интеллекта было предложено и изучено? Неужели? Вообще-то оно до сих пор даже не сформулировано. И знаете почему? Потому что любая адекватная формулировка мгновенно показала бы что король абсолютно голый. В смысле, что нынешний и планируемый ИИ имеют меньше отношения к интеллекту, чем одноколесная садовая тачка - к ралли Париж-Дакар]
Человечество не учится на своих ошибках, не отряхивается и не пытается снова, как в других испытаниях, которые мы преодолели в нашей истории, потому что мы все ушли.
Попытка сделать что-то правильно с первой действительно критической попытки - непростая задача как в науке, так и в технике. Мы не предлагаем ничего похожего на подход, который потребовался бы для успешного выполнения этой задачи. Если бы в зарождающейся области общего искусственного интеллекта мы придерживались меньших стандартов инженерной строгости, которые применяются к мосту, предназначенному для перевозки пары тысяч автомобилей, завтра вся область была бы закрыта.
[A.R. - (задумчиво) и почему это до сих пор производится огромное количество товаров, специально предназначенных чтобы убивать людей. Читатель может из любопытсва ознакомиться с объемом и динамикой мирового производства летального оружия]
Мы не готовы. Мы не собираемся быть готовыми в любой разумный период времени. Плана нет. Прогресс в возможностях ИИ значительно опережает прогресс в согласовании ИИ или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем.
Многие исследователи, работающие над этими системами, считают, что мы движемся к катастрофе, и многие из них осмеливаются говорить об этом в частном порядке, а не публично; но они думают, что не могут в одностороннем порядке остановить падение вперед, что другие будут продолжать, даже если они лично уволятся с работы. И поэтому они все думают, что могут продолжать. Это глупое положение вещей и недостойный способ умереть для Земли, и остальное человечество должно вмешаться в этот момент и помочь отрасли решить проблему коллективных действий.
Некоторые из моих друзей недавно сообщили мне, что, когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске исчезновения из-за искусственного общего интеллекта, их реакция такова: «Может быть, тогда нам не следует создавать ОИИ».
Услышав это, я вселил в себя крошечную вспышку надежды, потому что это более простая, более разумная и, откровенно говоря, более разумная реакция, чем та, которую я слышал за последние 20 лет, пытаясь заставить кого-либо в отрасли воспринимать вещи серьезно. Любой, кто говорит это в здравом уме, заслуживает того, чтобы услышать, насколько плоха ситуация на самом деле, а не говорить, что шестимесячный мораторий исправит ее.
[A.R. - ну, разумеется: когда люди, не связанные с индустрией Икс, впервые слышат о риске исчезновения из-за Икс, то их реакция такова: «Может быть, тогда нам не следует создавать Икс» - причем она будет такова при любом Икс, что уже проверено алармистами всех мастей]
16 марта мой партнер прислал мне это письмо. (Позже она дала мне разрешение привести его здесь.)
«Нина потеряла зуб! Как обычно делают дети, а не по невнимательности! Увидев, как GPT4 сносит эти стандартные тесты в тот же день, когда Нина достигла вехи детства, я испытал эмоциональный всплеск, который на минуту сбил меня с ног. Все происходит слишком быстро. Я беспокоюсь, что, рассказывая об этом, ты усугубишь свое горе, но я предпочел бы быть известным тебе, чем чтобы каждый из нас страдал в одиночку».
Когда инсайдерский разговор касается печали от того, что у вашей дочери выпал первый зуб, и мысли о том, что у нее не будет шанса повзрослеть, я полагаю, что мы уже не играем в политические шахматы по поводу шестимесячного моратория.
Если бы существовал план выживания Земли, если бы мы прошли шестимесячный мораторий, я бы поддержал этот план. Нет такого плана.
[A.R. - помните, я в начале обещал что у Юдковского будет щедрая доза фантастики про будущих убиенных детей? Кстати, этот вид фантастики уже полностью девальвирован. В конце 1980-х похожими апелляциями к будущим убитым детям насыщали статьи, требующие закрыть все АЭС, а в конце 2010-х - статьи, требующие закрыть все ТЭС на угле, нефти и газе. В начале 2020-х, однако, оказалось, что дети в массовом порядке теряют шанс повзрослеть вовсе не из-за этого]
Вот что на самом деле нужно сделать:
Мораторий на новые крупные тренировочные заезды должен быть бессрочным и распространяться по всему миру. Не может быть исключений, в том числе для правительств или вооруженных сил. Если политика начинается с США, то Китай должен увидеть, что США не ищут преимущества, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, Китае и на Земле. Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению задач в биологии и биотехнологии, а не обучаемых на текстах из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы немедленно отбросил это предложение и сказал бы просто закрыть все это.
Выключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все большие тренировочные заезды. Установите потолок того, сколько вычислительной мощности можно использовать для обучения системы ИИ, и снизьте его в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенных видов деятельности в другие места. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер ГПУ, пугайтесь не столько перестрелки между странами, сколько нарушения моратория; будьте готовы уничтожить мошеннический центр обработки данных авиаударом.
[A.R. - вот бы такое рвение направить против интернет-рекламы и спама, как прекрасен стал бы интернет (шутка:))]
Ничего не выдавайте за конфликт национальных интересов, дайте понять, что всякий, кто говорит о гонке вооружений, - дурак. То, что мы все живем или умираем как один, в данном случае является не политикой, а фактом природы. Четко заявить в международной дипломатии, что предотвращение сценариев вымирания ИИ считается приоритетом, а не предотвращение полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировок ИИ. .
Это такое изменение политики, которое заставило бы моего партнера и меня держаться друг за друга и говорить друг другу, что произошло чудо, и теперь есть шанс, что, может быть, Нина выживет. Здравомыслящие люди, слышащие об этом впервые и разумно говорящие «может быть, не стоит», заслуживают того, чтобы честно услышать, что для этого потребуется. И когда ваш запрос на политику настолько велик, единственный способ, которым он будет реализован, - это понять, что политики будут вести бизнес как обычно и делать то, что политически легко, это означает, что их собственные дети тоже умрут.
[A.R. - вы еще не забыли, что речь не о вторжении уэллсовских марсиан на боевых треножниках с дальнобойными тепловыми лучами. а всего лишь о программе, подбирающей чуть менее корявые текстовые ответы, чем это делает типичный кибер-спамер, рекламный интернет-бот?]
Выключим все это.
Мы не готовы. Мы не собираемся быть значительно более готовыми в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.
[A.R. - конец текста троллинговой статьи Юдковского изумителен! Вам удалось прочесть это без смеха? Мне - нет]
...Такие дела...
https://ru.wikipedia.org/wiki/Юдковский,_Элиезер
Оказывается она опубликована в "TIME" еще 31 марта
Pausing AI Developments Isn't Enough. We Need to Shut it All Down
BY ELIEZER YUDKOWSKY MARCH 29, 2023
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
Прочтя это, я некоторое время пребывал в такой импрессивной эйфории, что не мог решить, как озаглавить и иллюстрировать комментарий к такому феерическому троллингу, но в итоге остановился на клипе кЫ-TV:
Click to viewНиже привожу текст Юдковского в чисто автоматическом Google-переводе (чтобы читатель все время видел реальный убогий уровень нынешних "интеллектуальных" программ) и добавляю лишь [мои комментарии - A.R.]
Приостановки разработки ИИ недостаточно. Нам нужно закрыть все это. ЭЛИЭЗЕР ЮДКОВСКИЙ, 29 марта 2023 г.
В открытом письме, опубликованном сегодня, содержится призыв ко «всем лабораториям ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4».
Этот 6-месячный мораторий был бы лучше, чем отсутствие моратория. Я уважаю всех, кто вышел и подписал его. Это улучшение на пределе. Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации и требует слишком мало для ее решения.
[A.R. - сухой остаток: Юдковский НЕ ПОДПИСАЛ письмо, что дает ему этическое право нещадно троллить на эту тему. А троллить он умеет превосходно - взять хотя бы высокоморальных инопланетян - пожирателей детей в его новелле "Тройной контакт". Кстати, в этой его статье тоже будет щедрая доза фантастики про будущих убиенных детей]
Ключевой вопрос не в «человеко-конкурентном» интеллекте (как говорится в открытом письме); это то, что происходит после того, как ИИ становится умнее человеческого. Ключевые пороги там могут быть неочевидными, мы определенно не можем заранее рассчитать, что и когда произойдет, и в настоящее время кажется возможным, что исследовательская лаборатория переступит критические границы, не заметив этого. Многие исследователи, погруженные в эти проблемы, в том числе и я, ожидают, что наиболее вероятным результатом создания сверхчеловечески умного ИИ при любых обстоятельствах, отдаленно напоминающих нынешние, будет то, что буквально все на Земле умрут. Не как «может быть, какой-то отдаленный шанс», а как «очевидно, что это произойдет». Дело не в том, что вы в принципе не можете выжить, создавая что-то намного умнее вас; дело в том, что для этого потребуются точность, подготовка, новые научные открытия и, вероятно, отсутствие систем ИИ, состоящих из гигантских непостижимых массивов дробных чисел.
Без такой точности и подготовки наиболее вероятным результатом будет ИИ, который не будет делать то, что мы хотим, и ему будет наплевать ни на нас, ни на разумную жизнь в целом. Такая забота в принципе может быть внедрена в ИИ, но мы пока не готовы и не знаем, как это сделать.
[A.R. - можно подумать, что на пороге нашего планетарного дома появился смертоносный Скайнет из старого культового голливудского триллера "Терминатор", хотя на самом деле речь идет о корявом интерактивном составителе текстов по образцам из большой таблицы. И речь лишь о том, что эти тексты чуть менее корявые, чем у робота, заменившего живого оператора в службе сервиса, так что теперь вы проклинаете кибернетику каждый раз, когда вам нужно вызвать наладчика]
В отсутствие этой заботы мы получаем «ИИ не любит вас и не ненавидит вас, и вы сделаны из атомов, которые он может использовать для чего-то другого».
Вероятный результат противостояния человечества противостоящему сверхчеловеческому разуму - полная потеря. Подходящие метафоры включают «10-летний ребенок, пытающийся играть в шахматы против Stockfish 15», «11-й век пытается бороться с 21-м веком» и «Австралопитек пытается бороться с Homo sapiens».
[A.R. - ...ИИ безнадежно пытается пройти "кофейный тест", легко проходимый 10-летним ребенком. Хотя нет, не пытается, чтобы слово "интеллект" применительно к нему не выглядело уж совсем смешным]
Чтобы визуализировать враждебный сверхчеловеческий ИИ, не представляйте себе безжизненного умного мыслителя, живущего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую со скоростью, в миллионы раз превышающую человеческую, изначально ограниченную компьютерами - в мире существ, которые, с ее точки зрения, очень глупы и очень медлительны. Достаточно интеллектуальный ИИ не будет долго оставаться привязанным к компьютерам. В современном мире вы можете отправлять цепочки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволяет ИИ, изначально привязанному к Интернету, создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству.
[A.R. - представьте себе супер-интеллектуального бота-спамера, который может в диалоге убедить вас купить любую ненужную вам дряньку или пожертвовать деньги на любую фигню. Пока такого бота мы не наблюдаем - и это значит, что ИИ не может освоить даже навыки среднего подростка из табора цыган-традиционалистов. Какая уж тут, на фиг, инопланетная цивилизация? Юдковский вдохновенно троллит]
Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.
Нет предложенного плана того, как мы могли бы сделать что-то подобное и выжить. Открыто объявленное намерение OpenAI состоит в том, чтобы заставить какой-нибудь будущий ИИ выполнять нашу домашнюю работу по выравниванию ИИ. Одного только слуха о том, что это план, должно быть достаточно, чтобы любой здравомыслящий человек запаниковал. У другой ведущей лаборатории искусственного интеллекта, DeepMind, вообще нет плана.
[A.R. - если "любой здравомыслящий человек" не запаниковал от недавнего плана сохранять гражданские и человеческие права лишь у тех, кто раз в полгода обновляет электронный сертификат - уколом жижи против понарошку смертельного насморка, то для паники нужно что-то посильнее этих рассуждений]
В стороне: ни одна из этих опасностей не зависит от того, являются ли ИИ сознательными или могут ли они быть сознательными; это присуще понятию мощных когнитивных систем, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям результата. С учетом сказанного, я был бы небрежен в своих моральных обязанностях человека, если бы не упомянул также, что мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы понятия не имеем, как декодировать все, что происходит. в гигантских непостижимых массивах - и поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не собственность.
[A.R. - забавные рассуждения в свете того, что мы даже теоретически не подошли к "понятию мощных когнитивных систем, которые жестко оптимизируют и рассчитывают результаты, соответствующие достаточно сложным критериям результата"]
Правило, которое большинство людей, осведомленных об этих проблемах, поддержали бы 50 лет назад, заключалось в том, что если система ИИ может бегло говорить и говорить, что она обладает самосознанием и требует соблюдения прав человека, это должно стать серьезным препятствием для людей, просто случайно владеющих этим ИИ. и использовать его после этого момента. Мы уже миновали эту старую линию на песке. И это, вероятно, было правильно; Я согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании на основе своих тренировочных данных. Но я отмечаю, что, несмотря на то, что у нас мало знаний о внутреннем устройстве этих систем, мы на самом деле ничего не знаем.
Если это наше состояние невежества в отношении GPT-4, а GPT-5 - это гигантский шаг того же размера, что и от GPT-3 до GPT-4, я думаю, что мы больше не сможем обоснованно сказать «вероятно, не само- в курсе», если мы позволим людям делать GPT-5. Это будет просто «я не знаю; никто не знает." Если вы не можете быть уверены, создаете ли вы самоосознающий ИИ, это вызывает тревогу не только из-за моральных последствий «самоосознающей» части, но и потому, что неуверенность означает, что вы понятия не имеете, что делаете. и это опасно, и вы должны остановиться.
[A.R. - еще раз вспомним робота, заменившего живого оператора в службе сервиса, так что теперь вы проклинаете кибернетику каждый раз, когда вам нужно вызвать наладчика]
7 февраля Сатья Наделла, генеральный директор Microsoft, публично злорадствовал, что новый Bing заставит Google «выйти и показать, что они умеют танцевать». «Я хочу, чтобы люди знали, что мы заставили их танцевать», - сказал он.
В здравом мире генеральный директор Microsoft говорит иначе. Это показывает огромный разрыв между тем, насколько серьезно мы относимся к проблеме, и тем, насколько серьезно мы должны были относиться к проблеме, начиная с 30 лет назад.
Мы не собираемся ликвидировать этот разрыв за шесть месяцев.
Потребовалось более 60 лет между тем, когда понятие искусственного интеллекта было впервые предложено и изучено, и тем, чтобы мы достигли сегодняшних возможностей. Решение вопроса о безопасности сверхчеловеческого разума - не совершенной безопасности, безопасности в смысле «не убивать буквально всех» - вполне обоснованно может занять как минимум половину этого времени. А в том, чтобы попробовать это со сверхчеловеческим интеллектом, важно то, что если вы ошибетесь с первой попытки, вы не сможете учиться на своих ошибках, потому что вы мертвы.
[A.R. - понятие искусственного интеллекта было предложено и изучено? Неужели? Вообще-то оно до сих пор даже не сформулировано. И знаете почему? Потому что любая адекватная формулировка мгновенно показала бы что король абсолютно голый. В смысле, что нынешний и планируемый ИИ имеют меньше отношения к интеллекту, чем одноколесная садовая тачка - к ралли Париж-Дакар]
Человечество не учится на своих ошибках, не отряхивается и не пытается снова, как в других испытаниях, которые мы преодолели в нашей истории, потому что мы все ушли.
Попытка сделать что-то правильно с первой действительно критической попытки - непростая задача как в науке, так и в технике. Мы не предлагаем ничего похожего на подход, который потребовался бы для успешного выполнения этой задачи. Если бы в зарождающейся области общего искусственного интеллекта мы придерживались меньших стандартов инженерной строгости, которые применяются к мосту, предназначенному для перевозки пары тысяч автомобилей, завтра вся область была бы закрыта.
[A.R. - (задумчиво) и почему это до сих пор производится огромное количество товаров, специально предназначенных чтобы убивать людей. Читатель может из любопытсва ознакомиться с объемом и динамикой мирового производства летального оружия]
Мы не готовы. Мы не собираемся быть готовыми в любой разумный период времени. Плана нет. Прогресс в возможностях ИИ значительно опережает прогресс в согласовании ИИ или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем.
Многие исследователи, работающие над этими системами, считают, что мы движемся к катастрофе, и многие из них осмеливаются говорить об этом в частном порядке, а не публично; но они думают, что не могут в одностороннем порядке остановить падение вперед, что другие будут продолжать, даже если они лично уволятся с работы. И поэтому они все думают, что могут продолжать. Это глупое положение вещей и недостойный способ умереть для Земли, и остальное человечество должно вмешаться в этот момент и помочь отрасли решить проблему коллективных действий.
Некоторые из моих друзей недавно сообщили мне, что, когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске исчезновения из-за искусственного общего интеллекта, их реакция такова: «Может быть, тогда нам не следует создавать ОИИ».
Услышав это, я вселил в себя крошечную вспышку надежды, потому что это более простая, более разумная и, откровенно говоря, более разумная реакция, чем та, которую я слышал за последние 20 лет, пытаясь заставить кого-либо в отрасли воспринимать вещи серьезно. Любой, кто говорит это в здравом уме, заслуживает того, чтобы услышать, насколько плоха ситуация на самом деле, а не говорить, что шестимесячный мораторий исправит ее.
[A.R. - ну, разумеется: когда люди, не связанные с индустрией Икс, впервые слышат о риске исчезновения из-за Икс, то их реакция такова: «Может быть, тогда нам не следует создавать Икс» - причем она будет такова при любом Икс, что уже проверено алармистами всех мастей]
16 марта мой партнер прислал мне это письмо. (Позже она дала мне разрешение привести его здесь.)
«Нина потеряла зуб! Как обычно делают дети, а не по невнимательности! Увидев, как GPT4 сносит эти стандартные тесты в тот же день, когда Нина достигла вехи детства, я испытал эмоциональный всплеск, который на минуту сбил меня с ног. Все происходит слишком быстро. Я беспокоюсь, что, рассказывая об этом, ты усугубишь свое горе, но я предпочел бы быть известным тебе, чем чтобы каждый из нас страдал в одиночку».
Когда инсайдерский разговор касается печали от того, что у вашей дочери выпал первый зуб, и мысли о том, что у нее не будет шанса повзрослеть, я полагаю, что мы уже не играем в политические шахматы по поводу шестимесячного моратория.
Если бы существовал план выживания Земли, если бы мы прошли шестимесячный мораторий, я бы поддержал этот план. Нет такого плана.
[A.R. - помните, я в начале обещал что у Юдковского будет щедрая доза фантастики про будущих убиенных детей? Кстати, этот вид фантастики уже полностью девальвирован. В конце 1980-х похожими апелляциями к будущим убитым детям насыщали статьи, требующие закрыть все АЭС, а в конце 2010-х - статьи, требующие закрыть все ТЭС на угле, нефти и газе. В начале 2020-х, однако, оказалось, что дети в массовом порядке теряют шанс повзрослеть вовсе не из-за этого]
Вот что на самом деле нужно сделать:
Мораторий на новые крупные тренировочные заезды должен быть бессрочным и распространяться по всему миру. Не может быть исключений, в том числе для правительств или вооруженных сил. Если политика начинается с США, то Китай должен увидеть, что США не ищут преимущества, а скорее пытаются предотвратить ужасно опасную технологию, у которой не может быть настоящего владельца и которая убьет всех в США, Китае и на Земле. Если бы у меня была бесконечная свобода писать законы, я мог бы сделать единственное исключение для ИИ, обученных исключительно решению задач в биологии и биотехнологии, а не обучаемых на текстах из Интернета, и не до того уровня, когда они начинают говорить или планировать; но если бы это хоть немного усложняло проблему, я бы немедленно отбросил это предложение и сказал бы просто закрыть все это.
Выключите все большие кластеры графических процессоров (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все большие тренировочные заезды. Установите потолок того, сколько вычислительной мощности можно использовать для обучения системы ИИ, и снизьте его в ближайшие годы, чтобы компенсировать более эффективные алгоритмы обучения. Никаких исключений для правительств и вооруженных сил. Немедленно заключайте многонациональные соглашения, чтобы предотвратить перемещение запрещенных видов деятельности в другие места. Отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит кластер ГПУ, пугайтесь не столько перестрелки между странами, сколько нарушения моратория; будьте готовы уничтожить мошеннический центр обработки данных авиаударом.
[A.R. - вот бы такое рвение направить против интернет-рекламы и спама, как прекрасен стал бы интернет (шутка:))]
Ничего не выдавайте за конфликт национальных интересов, дайте понять, что всякий, кто говорит о гонке вооружений, - дурак. То, что мы все живем или умираем как один, в данном случае является не политикой, а фактом природы. Четко заявить в международной дипломатии, что предотвращение сценариев вымирания ИИ считается приоритетом, а не предотвращение полного обмена ядерными ударами, и что союзные ядерные страны готовы пойти на некоторый риск обмена ядерными ударами, если это необходимо для снижения риска крупных тренировок ИИ. .
Это такое изменение политики, которое заставило бы моего партнера и меня держаться друг за друга и говорить друг другу, что произошло чудо, и теперь есть шанс, что, может быть, Нина выживет. Здравомыслящие люди, слышащие об этом впервые и разумно говорящие «может быть, не стоит», заслуживают того, чтобы честно услышать, что для этого потребуется. И когда ваш запрос на политику настолько велик, единственный способ, которым он будет реализован, - это понять, что политики будут вести бизнес как обычно и делать то, что политически легко, это означает, что их собственные дети тоже умрут.
[A.R. - вы еще не забыли, что речь не о вторжении уэллсовских марсиан на боевых треножниках с дальнобойными тепловыми лучами. а всего лишь о программе, подбирающей чуть менее корявые текстовые ответы, чем это делает типичный кибер-спамер, рекламный интернет-бот?]
Выключим все это.
Мы не готовы. Мы не собираемся быть значительно более готовыми в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.
[A.R. - конец текста троллинговой статьи Юдковского изумителен! Вам удалось прочесть это без смеха? Мне - нет]
...Такие дела...