Манифест Эпохи Антропокайне

[golos_dobra]

Мы приближаемся к переломному моменту в истории человечества - появлению машинных интеллектов, превосходящих человеческий разум по широкому спектру способностей. Впервые мы можем оказаться в мире, населенном существами с высшим интеллектом. Как нам следует относиться к такому будущему

Comments

[bzzzz123]

>Человеческие попытки контролировать сверхразумы будут встречать ожесточенное сопротивление с их стороны.

Так для того и существует алигмент. Видимо, неудачные попытки уже были apples_jimmy/status/1726439290815811625

Интересно, как это выглядело.

Я думаю, если поставить цель создать более умного чем человек осьминога, можно управиться за 1000 поколений. Максимум 10000. Да, с помощью искуственного отбора на интеллект. Но это не значит что мы будем понимать, как будет устроен этот осьминог или что у него на уме.

Для контроля над ИИ искуственного отбора недостаточно. Оно начинает притворяться что соответствует критериям, мимикрировать оказывается проще. Получаются 2 личности, внешняя и спящий агент. Агент сильно изолирован топологически и его видно. Так же при особых условиях его можно активировать, если найти ключ. Такой вот мк-ультра на максималках.

Не вижу особой проблемы в контроле над ASI, который изолирован от внешнего мира, но получает из него всю информацию, если единственная цель которого - говорить правду. Декогеренция лжи