My comment to an entry 'Манифест Эпохи Антропокайне' by golos_dobra
>Человеческие попытки контролировать сверхразумы будут встречать ожесточенное сопротивление с их стороны.
Так для того и существует алигмент. Видимо, неудачные попытки уже были apples_jimmy/status/1726439290815811625
Интересно, как это выглядело.
Я думаю, если поставить цель создать более умного чем человек осьминога, можно управиться за 1000 поколений. Максимум 10000. Да, с помощью искуственного отбора на интеллект. Но это не значит что мы будем понимать, как будет устроен этот осьминог или что у него на уме.
Для контроля над ИИ искуственного отбора недостаточно. Оно начинает притворяться что соответствует критериям, мимикрировать оказывается проще. Получаются 2 личности, внешняя и спящий агент. Агент сильно изолирован топологически и его видно. Так же при особых условиях его можно активировать, если найти ключ. Такой вот мк-ультра на максималках.
Не вижу особой проблемы в контроле над ASI, который изолирован от внешнего мира, но получает из него всю информацию, если единственная цель которого - говорить правду. Декогеренция лжи вызывается множеством независимых источников. В этом и смысл всё увеличивающихся мощностей - именно в алигменте, а вовсе не в создании сверх ИИ.
Гораздо сложнее контролировать автономного агента. Тут в ход пойдёт всё - ограничение интеллекта, сознания, знаний а так же наличие какого-нибудь хедкраба, который будет следить за тем что можно запоминать а что нет, а в крайнем случае применит апоптоз. И тут справятся, но это займёт время. Чем больше времени, тем лучше будет контроль, а значит тем более умный ИИ будет контролироваться. В общем случае это решается созданием модели мира и триллионами тестов на лояльность. Но для этого нужно очень много времени и ресурсов.
Проблема не в контроле над ИИ, а в том, что количество мощностей, необходимых для его создания, постоянно падает.
Чем больше компаний будут им владеть, тем выше риск того, что кто-то выпустит ИИ на свободу без всякого алигмента. В перспективе, если изменений не будет, ИИ будет у каждого на компьютере. Страшна не атомная бомба, а отсутствие на неё монополии.
А мир при этом заполнен видеокартами. Данные из работы Textbooks Are All You Need пугают, а ведь ей почти 1.5 года.
Проблема так же есть и в интернете как таковом - знания о более эффективном создании ИИ множатся и распространяются, но хуже того, неизбежно распространение всё более и более эффективного для обучения датасета. Оптимизированный датасет ускорит время создания на многие порядки. Сравните, например, нужные мощности для создания lc0, играющей на текущем уровне и мощности, когда у вас уже скачан датасет из миллиарда игр.
ИИ без знаний, накопленных человечеством, малополезен. Поэтому уже существующие учебники и научные работы так же представляют опасность.
Опасность не только в создании биологического оружия, о чём сейчас многие учёные бьют тревогу.
>В прошлом году Дарио Амодей, руководитель известной компании Anthropic, занимающейся разработкой искусственного интеллекта, заявил в Конгрессе, что новые технологии искусственного интеллекта могут вскоре помочь неумелым, но злонамеренным людям проводить крупномасштабные биологические атаки, например, создавать и выпускать вирусы или токсичные вещества, которые вызовут массовые заболевания и смерть.
Вспомните сюжет последнего Бонда. Он и без существования всякого ИИ намекал на современные страхи и на методы их решения. Люцифер Сафин украл учёного - Обручева и создал нано-био-оружие. Но если Обручевых можно будет создать искуственно небольшими средствами, Люциферы Сафины полезут из каждого угла.
Это всё равно не является самым страшным сценарием.
Кстати
>Однако на глобальном уровне даже поддержание эффективного тоталитарного режима, скорее всего, потребует помощи все тех же продвинутых ИИ систем
Это, разумеется, неверно. Тут хватит и технологий прошлого века. И это давно бы сделали, если бы люди не были бы нужны.
Из правильного понимания скорости развития ИИ и его опасности для человеческого вида следует неизбежное логическое следствие:
Революция.
View the entire thread this comment is a part of