По нашему образу и подобию
На днях Элиезер Юдковски опубликовал в Таймс призыв объявить правительственный мораторий на обучение ИИ по всему миру на ближайшие полгода, чтобы придумать план безопасности для человечества. Как один из отцов-основателей ИИ, философ и стратег, думаю, он понимает, какие опасности таятся в том, чтобы ИИ становился всё более и более мощным и умным
( Read more... )
Comments 17
Тот случай когда надо спросить у духов, потому что такое будет видно издалека. А ум подбрасывает нам поводы для паники, особенно для ситуаций с предельно высоким риском мы будем учитывать даже малейшие признаки вероятности. Ум по сути отказывает в таких режимах.
Вместо Юдковского (или вместе с ним) имеет смысл смотреть на авторов, например на того же Альтмана. У них цельная, трезвая и взвешенная позиция.
Ничего заморозить не получится, пасту в тюбик не засунешь, мы уже по ту сторону этого вопроса.
Reply
У Фридмана всегда очень длинные лекции. Я его на пенсии буду слушать, если выживу.
У меня тут небольшое опасение, что мир духов контактирует только с людьми, но не с ИИ. Я пока не знаю, как это опасение лучше сформулировать и почему тут вдруг такое ограничение...
Reply
Какой-то уровень "мира духов", который обеспечивает сходимость причинностей более высокого уровня точно должен отвечать и за любую технику тоже. И за открытия, и за изобретения, за всё. Как иначе? Целое больше частей.
А Фридман да, его можно на полуторной скорости фоном включать )
Reply
Фоном не получается. :-) Я как-то какого-то биолога у него слушала - так интересно! Только времени сейчас нет на такое.
Такое чувство, что ИИ - это как бы уже вложенный уровень в человечество. А те духи, с которыми у нас есть нечто вроде общего языка, они над нами, это мы их вложенный уровень. Надо как-то поменять восприятие всей системы, чтобы попасть в ту вселенную, где это возможно по щелчку
Reply
А у него есть?
Человек за миллиарды лет эволюции отрастил себе текстовый разум поверх изначально существующего такого стремления, как инструмент, чтобы решать эти задачи. Но здесь просто взяли этот инструмент (достаточно универсальный), но без того, что задавало цели нам. И прикрутили к нему какие-то другие. Или не прикрутили, и он пока что (по крайней мере, нам так говорят) реактивен, а не проактивен.
Reply
Пока лампочки не мигают зловеще, то вроде нет.
Но у меня чувство, что движение внутри богатого поляризованного материала (=бульон) в какой-то момент обретёт динамику и "не захочет" останавливаться. Хотя снаружи для нас это будет выглядеть всё равно механистично.
Reply
Паникеры были всегда. Воображение всегда строит безумные сценарии, вопрос только в том, насколько они реальны.
Reply
Если такие люди, как я, начинают паниковать, это одно (хотя мне обычно это не свойственно).
Если такие люди как Юдковски - это совсем другое. Зная, насколько он умнее меня и насколько лучше знает систему изнутри и похожие системы, я тут принимаю это всерьёз.
Reply
Я бы сказал, что он бежит впереди паравоза.
Reply
Я посмотрел про него, у него достаточно однобокое образование.
>вся биологическая жизнь на Земле вскоре после этого погибнет
Он далек от биологии. Как говорят биологи, Земля была и останется планетой бактерий, поскольку невозможно себе представить технические средства для их уничтожения.
Ему надо посмотреть научно-фантастические фильмы на тему, что будет, если все люди исчезнут. ИИ сам по себе с природой не справится.
Reply
Как шаман шаману - мерность существа важна. Даже бактерия хотя бы трехмерная, у нее есть немножко свободы воли. Здесь же свободы воли нет
совсем, 1-0-0-1. В определенном смысле даже одномерное нечто, у меня есть теория, что четных мерностей не существует.
Паника возникает если приписывать ИИ инстинкт самосохранения, которого там нет и быть не может. Пока не доделают квантовые компьютеры, мерность ИИ не увеличится, да и потом не факт. В любом случае, человеку доступно 5-7, шаману 7 и выше измерений, маневр больше принципиально. Так что пока воля конкретного человека не направит ИИ, ничего тот делать не будет, нет самостоятельной воли. Бояться можно людей, а не ИИ, но это не ново.
Reply
Leave a comment