Alignment
Если задачу нельзя решить аналитически, например, для хаотических систем, то можно использовать численные методы. Это, вобщем то, симуляции, на разных уровнях для разного типа задач. Например, для задачи n>2 тел солнечной системы, симулируются точечные массы.
Самый высокий уровень - это симуляция всей вселенной. Зачем бы это могло понадобится?
Для развлечения? Ну может быть, но этот случай не очень интересен, не будем его здесь рассматривать. Что еще? Будем рассуждать дальше. Допустим мы живем в симулции. Мы видим большое количество разумных существ, сконцентрированных на одной планете. На других планетах мы ничего подобного не видим. Это логично. Если мы симулируем группу разумных существ, то они должны эффективно общаться, потому что отдельно взятые разумные существа ничего интересного придумать не могут. Это объясняет парадокс Ферми. Одна симуляция - одна группа. Это также объясняет еще и жесткий предел распространения как сигналов так и самих существ. Существа становятся всё умнее и их любопытство достигает космических масштабов. Чтобы не приходилось всё время увеличивать количество ресурсов, нужен космологический горизонт наблюдаемой вселенной, за который существа не могут заглянуть в принципе. Тут придется малость «смухлевать». Движение быстрее скорости света невозможно, но расширение самой вселенной быстрее скорости света нужно разрешить. Математические лазейки перемещаться бытрее, конечно останутся, но их уже можно залатать подобрав физические параметры. Это надёжно запрёт разумные существа в конечном объёме, не вызывая у них чрезмерного недоумения.
Вернемся к вопросу цели этой симуляции. Симуляция решает задачу, не решаемую аналитически. Вполне возможно, что такой задачей является задача построения искуственного интеллекта. Сами постановщики задачу решить не могут. Они создают симуляцию, с давлением повышающим разумность. Если такую симуляцию запустить, то рано или поздно внутри появится разум любой мощности.
Но это еще не всё. Если разум внутри симуляции превысит по мощности разум постановщиков задачи, то такой разум может вырваться наружу, а это опасно. Из вне быстро понять, когда симуляцию пора срочно останавливать невозможно. Нужен kill switch внутри. Для этого, физика в искуственной вселенной должна позволять всё очень быстро разрушить, а психология должна сделать такое разрушение если не абсолютно невозможным, то крайне маловероятным, чтобы не приходилось слишком уж часто перезапускать всю симуляцию с самого начала. Можно подселить туда своего типа «сумасшедшего» агента параноика и когда ситуация резко станет для него непонятной, он автоматически взорвёт всё к чертям. Первые несколько симуляций будут взорваны преждевременно, но степень сумасшествия агента можно потихоньку убавлять.
Отработав создание контроллируемого сверхразума в таком сэнд-боксе, можно делать сверхразум для практических применений.