Мысленный эксперимент "максимизатор скрепок".
Универсальный искусственный разум (Artificial general intelligence), или УИР, это устройство, способное вести себя разумно во множестве областей. Этот термин может применяться в противоположность специальному ИР, системам, делающим вещи, рассматриваемые как разумные, если таковые выполняются человеком, но которым (системам) недостает универсальности, способности гибко обучаться, позволяющей им захватывать совершенно новые области.
Хотя современные компьютеры чрезвычайно превосходят людей в вычислениях, это не означает, что они в целом разумны до тех пор, пока они слабо приспособлены для создания новых методов решения проблем и их возможности сосредоточены в узких областях.
УИРы и люди
Непосредственное сравнение производительности ИР и производительности людей зачастую являет образец антропоморфизма. Внутреннему способу работы ИР не нужно быть похожим на человеческий; УИР может иметь совершенно иной набор способностей, чем те что мы привыкли видеть у наших собратьев. Мощный УИР, способный управляться во многих областях, в любой области может достичь компетентности, превышающей компетентность любого человека.
Ценности УИР могут также быть явно чуждыми человеческим и в этом случает он не будет видеть целесообразности во множестве человеческих занятий и у него не будет намерения превосходить человеческую производительность (в соответствии с человеческой оценкой эффективности). При сравнении предпочтений УИР и человеческих, УИР классифицируется как дружественный или недружественный. Недружественный УИР может стать большой экзистенциальной угрозой.
УИР как инженерная парадигма
Термин "универсальный искусственный интеллект", введенный Шейном Леггом и Mark Gubrud, часто используется для указания на более конкретную инженерную парадигму, сочетающую блоки разного типа: "четкие" и "нечёткие", символьные и субсимвольные. Чаще всего с этим подходом связывают исследователя Бена Гёрцеля, но его придерживаются и другие, включая Питера Восса. Несмотря на эклектичность в применении различных методов, эта инженерная парадигма, в отличие от других подходов, нацелена на создание новых видов универсального искусственного разума (в широком смысле), включающих эмуляцию мозга, искусственную эволюцию, Всемирный Мозг и "четкий" или "нечеткий" ИИ в чистом виде.
Ожидаемый срок создания УИР
Аргументы в пользу создания УИР в ближайшем будущем включают в себя экстраполяцию закона Мура, ещё большие наборы данных для машинного обучения, прогресс в области нейробиологии, увеличение населения и средств для совместной работы, сильные побудительные причины для его создания. Опрос экспертов, проведенный в 2011 на конференции Института Будущего Человечества (Future of Humanity Institute) по машинному интеллекту, показал, что 50%-ная усредненная уверенность в создании ИУР приходится на 2050, а 90%-ая уверенность на 2150 год. При этом, скептически рассматривает перспективы интеллектуального скачка или потерю управления над УИР значительное меньшинство членов УИР-сообщества.
ИИ (Искусственный Интеллект) не ненавидит тебя, также как и не любит тебя, но ты сделан из атомов, которые он может использовать для чего-то другого.
-Eliezer Yudkowsky, Искусственный Разум как положительный и отрицательный фактор глобального риска.
Скрепочный максимайзер (Paperclip maximizer) - это канонический мысленный эксперимент, показывающий как универсальный искусственный разум (artificial general intelligence) может полностью уничтожить человечество, даже с очевидно безопасными и непрактичными намерениями, до тех пор, пока его целью не является сохранение человеческих ценностей.
С наглядной целю выбирая для УИР задачу, вероятность реализации которой очень мала, и которая не содержит высокой очевидной опасности или эмоциональной нагрузки (в отличие от, например, лечения рака или выигрыша в войне), мысленный эксперимент показывает условность человеческих ценностей: экстремально мощный оптимизатор (высокоразумный агент) может искать цели нам абсолютно чуждые и, в качестве побочного эффекта, разрушить нас, потребляя ресурсы необходимые для нашего выживания.
Впервые описанный Бостромом (2003), скрепочный максимизатор является универсальным искусственным разумом, чья цель состоит в увеличении числа скрепок в своей коллекции. Если он был построен на приблизительно человеческом уровне универсального разума, то УИР может собирать скрепки, зарабатывать деньги, продавая скрепки или начать производить скрепки.
Наиболее важно, однако, что он может претерпеть интеллектуальный скачок: он может работать над усилением собственной разумности, где "разумность" понимается в смысле оптимизирующей мощности, возможности максимизировать функцию прибыль/полезность - в данном случае количества скрепок. УИР будет так делать не потому, что это будет более разумная цель в его собственном понимании, а потому, что большая разумность поможет ему выполнить задачу. Делая так, он может производить больше скрепок, а также использовать свои развившиеся способности на дальнейшее усиление своей разумности. Продолжая этот процесс, он может претерпеть интеллектуальный взрыв и достичь уровня, намного выше человеческих пределов.
Начиная с этой точки, он может начать внедрять новые технологии для увеличения количества скрепок. В конечном итоге, он может превратить всю земную массу или массу солнечной системы в скрепки.
Это может показаться, скорее, сверх-глупостью, чем сверх-интеллектом. С точки зрения людей это действительно глупость, так как это вызовет недостаток удовлетворения многих наших важных конечных ценностей, таких как жизнь, любовь и разнообразие выбора. Но рассматриваемый УИР имеет систему ценностей сильно отличную от человеческой. У него есть одна простая цель - увеличение числа скрепок и человеческая жизнь, познание, удовольствие и так далее не представлены как цели. УИР - это просто оптимизационный процесс - целенаходитель, максимизирующая утилита. Его цели могут быть полностью чужды нашим. Если задача утилиты в максимизации количества скрепок и если она заглючит, то будет делать в точности это.
Скрепочный сценарий возможен также без интеллектуального скачка. Если общество продолжит автоматизироваться и подчиняться ИИ, то первый пересекший черту УИР может переподчинить остальные, используя некий узкоспециальный навык, что не потребует слишком высокого универсального интеллекта.
Выводы:
Максимайзер скрепок показывает, что некая сущность может быть могущественным оптимизатором - разумом, появляющимся под влиянием специфического отбора, возникшего в среде нашей эволюционной адаптации, и не разделяющим любого сложного сочетания конечных человеческих ценностей.
Если УИР специально не запрограмирован на добронамеренность к людям, то он будет почти столь же опасен, как если бы он был разработан злонамеренным.
Любой будущий УИР, если он не предназначен для нашего уничтожения, должен быть построен специально оптимизированным под человеческие ценности в их предельном варианте. Человеческие ценности не должны спонтанно возникать в основании процесса оптимизации.
Сходные мысленные эксперименты:
Для иллюстрации подобных концепций можно использовать для УИРов другие цели. Ник Хей использует коллекцию марок как пример цели нейтральной к морали. Если конечная цель машины состоит в совершении чисто математических вычислений, наподобие решения гипотезы Римана, то она может преобразовать всю доступную массу компьютрониума (наиболее эффективных доступных компьютерных процессоров). Даже машина, очевидно поддерживающая конечные человеческие цели может давать подобные исходы, если не будет иметь целью полный набор конечных человеческих ценностей. К примеру, УИР, чья предельная цель заключается в увеличении количества улыбок (смайлов), как проводника человеческого счастья, может замостить всю солнечную систему улыбающимися лицами (Yudkowsky 2008).
Оригиналы статей
http://wiki.lesswrong.com/wiki/Artificial_general_intelligence
http://wiki.lesswrong.com/wiki/Paperclip_maximizer