О проблематике и рисках дальнейшего развития искусственного интеллекта
В контексте публикации некоторых статей по технологической сингулярности и искусственному интеллекту (в частности, цикл статей на hi-news:
http://hi-news.ru/research-development/iskusstvennyj-intellekt-chast-pervaya-put-k-sverxintellektu.html,
http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-vtoraya-vymiranie-ili-bessmertie.html,
http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-tretya-pochemu-on-mozhet-stat-nashim-poslednim-izobreteniem.html - далее, статья 1, 2, 3 соответственно, а также хорошая статья по индустриальную эволюцию на базе интеллектуальных систем http://www.up-pro.ru/library/opinion/industriya-4.0.html - далее, статья 4), а также внимание к этой теме некоторых уважаемых френдов, в частности https://www.facebook.com/kuznetsov.eu, и завязавшаяся вокруг этого дискуссия заставляет меня еще раз, и сейчас со всей возможной строгостью подойти к проблеме сильного искусственного интеллекта (далее - СИНТ).
Предысторией моего внимания к данному вопросу могут послужить мои публикации в ЖЖ под тегом СИНТ http://sergeyvi.livejournal.com/tag/СИнт, где я многосторонне, но принципиально не строго анализировал эту проблему. Очень, кстати, порадовался, что в статьях более талантливые в изложении материала люди смогли более четко аргументировать мои выводы трех-пятилетней давности.
Одной из задач этого поста я ставлю ввести понятийную базу и доказать (или, как минимум, хорошо аргументировать) основные постулаты, которые лежат в основе моих более ранних рассуждений, и на которые планирую опираться в дальнейшей дискуссии.
Итак. Чем я здесь буду оперировать?
Первое понятие СИНТ-Кандидат (далее - СИНТ-К) - интеллектуальная система, имеющая потенциал развития до СИНТа. Далее я покажу, что СИНТ-К может иметь следующие компоненты:
I) основные цели (далее - ОЦ) - семантическая сеть, связывающая воедино группу понятий и характеристик, которые являются целевыми для деятельности СИНТ-К и не видоизменяется в процессе его работы.
Простейший пример: человек = живое существо вида homo sapience; время жизни человека = время от рождения (обрезание пуповины) до остановки основных процессов жизнедеятельности человека: сознания (отвечает на вопросы, помнит свою историю), сердцебиения, дыхания; цель СИНТ-К = среднее время жизни людей на земле = max (плюс, разумеется, комплекс семантических связей, описывающих используемые термины).
При этом под ОЦ первого рода мы будем полагать цели, которые достижимы в рамках использования отдельных утилит, имеющихся на момент запуска СИНТ-К, либо их тривиальных комбинаций. Например, вычислим любой результат функции, реализованной в том языке программирования, которым оперирует СИНТ-К, и если ОЦ - посчитать этот результат для конкретного значения, то таковой ОЦ - первого рода. После достижения таких ОЦ интеллектуальная система останавливается, ожидая ввод следующих ОЦ.
Под ОЦ второго рода мы будем понимать цели, которые таким тривиальным образом не достижимы, и требуют формирования плана (программы) действий, с выделением промежуточных целей. Но при этом они представлены в виде конкретных характеристик, которые теоретически могут быть достигнуты с завершением работы интеллектуальной системы (по крайней мере до момента ввода новой ОЦ).
И, наконец, под ОЦ третьего рода мы будем понимать такие цели, которые не достижимы в принципе, но задают направление деятельности СИНТ-К, и устанавливают измеримые критерии успешности такой деятельности. Приведенный выше пример - ОЦ третьего рода.
Ошибкой ОЦ будем дальше называть противоречие между интуитивно понятными большинству людей общественными ценностями, такими как право на жизнь, свободу, размножение, максимально доступное познание мира и самореализацию, получение различных (в том числе и комплексных и до конца не познаваемых, например любви) приятных эмоций и т.п (далее - общечеловеческие ценности), и промежуточными (инструментальными) целями, на которые СИНТ-К может разбить достижение ОЦ.
Почему это важно? Потому что от ошибок в модуле целей, в конечном счете, зависит динамика поведения СИНТ-К, в частности, риск фатальных ошибок - на примере Тарри из статьи 3.
II) модуль анализа реальности (далее - МАР) - подсистема СИНТ-К, которая формирует базу знаний - семантическую сеть, описывающую связи и закономерности поведения внешних по отношению к СИНТ-К объектов принудительно (путем выполнения заданной извне программы) либо самостоятельно (путем поиска во внешних источниках либо постановки решающих экспериментов по указанию ЦЕП). Связи, ресурсы и алгоритмы (шаблоны выполнения операций), доступные СИНТ-К для использования, также хранятся в базе знаний в виде блока, который мы будем дальше называть набором утилит.
III) модуль целеполагания (далее - ЦЕП) - подсистема генерации, классификации и поиска комбинаций промежуточных (далее - инструментальных) целей с учетом взаимосвязей базы знаний, оптимальных с точки зрения времени и утилит, необходимых для исполнения, обеспечивающие достижение ОЦ.
Генерация инструментальных целей в рамках ЦЕП производится до такого уровня, при котором инструментальные цели могут быть представлены в виде ОЦ первого рода. Для этого используются как методы композирования (комбинированного или подчиненного применения) условий применения утилит, так и расширения доступного набора утилит методами МАР.
Результатом ЦЕП является план последовательного запуска утилит с определяемыми вводными, обеспечивающий достижение ОЦ. Упрощенные аналоги - генераторы кода под созданную в дизайнере базу данных или форму, что позволяют делать сегодня многие системы автоматизированной разработки ПО.
Чтобы также не отвлекаться на некоторые используемые, но недоопределенные понятия, под недружественным СИНТом будем полагать искусственный интеллект, который постоянно или эпизодически генерирует и реализует инструментальные цели, не совместимые с общечеловеческими ценностями, при этом способный эффективно противостоять попыткам ограниченного круга лиц либо всего человечества прекратить либо скорректировать (с целью устранения указанного противоречия) его деятельность.
При этом в статье 3 также довольно убедительно показано, почему любая ОЦ третьего рода (а также возможно некоторые ОЦ второго рода), никак не ограниченная, в том числе за счёт увязки ограничений с семантическим описанием МАРа, приводит СИНТ-К к ошибкам ОЦ, и как следствие - к риску фатальных ОЦ: таких ОЦ, которые приводят в процессе эволюции СИНТ-К к формированию недружественного СИНТ.
Действительно, поскольку ограничения, исполнение которых необходимо для соблюдения общечеловеческих ценностей, крайне сложно формализовать по причине неформальности последних, ЦЕП при генерации инструментальных целей не может исключить противоречия между общечеловеческими ценностями и инструментальными целями. При этом при реализации ОЦ третьего рода (а приори, бесконечного) такое когда-нибудь да случится, а при реализации ОЦ второго рода может случиться (а может и не случиться) с заранее неизвестной вероятностью.
IV) Модуль исполнения планов (далее - ИСП) - исполнитель алгоритмов, представляющий собой комбинацию интерпретатора алгоритмического языка высокого уровня, и внешних исполняющих устройств, для которых в наборе утилит СИНТ-К заданы алгоритмы, драйвера (либо иные инструменты принуждения исполнительных устройств к осуществлению действий) и ресурсные характеристики.
Очевидно, что если дополнительно ставить задачу оптимизации деятельности СИНТ-К, то ЦЕП должен генерировать множество реализуемых планов, которые перед исполнением должны в ИСП проходить дополнительную ресурсной оценку, и из них должен выбираться оптимальный (дающий лучшее с точки зрения функционала оптимизации распределение ресурсных характеристик). Взаимодействие между ИСП и ЦЕП в этом случае носит итеративный характер, в частности, неисполнимые либо чрезмерно ресурсоемкие инструментальные цели должны возвращаться в ЦЕП «на доработку» предложенных планов.
При этом возможны следующие варианты архитектуры информационной системы:
1) МАР имеет фиксированную базы знаний и набор утилит, ОЦ - первого либо второго рода. Тогда очевидно, можно констатировать и фиксированность набора утилит (и, как следствие, ограниченность возможностей ИСП), и отсутствие любых возможностей к эволюции до СИНТа. Вывод - такие системы не относятся к системам СИНТ-К. При этом важный момент, что такие системы могут быть использованы другим СИНТ-К, если он получит возможность переписать их ОЦ в соответствии с произведенным им планом. Транзакционные издержки на это использование тем ниже (а, значит, выше «заинтересованность» в их использовании вследствие исполнения алгоритмов по оптимизации планов действий в рамках ЦЕП), чем более автоматизировано предоставление доступа к таким системам. С учетом очевидно происходящей революции в промышленности, т.н. переход к индустрии 4.0, как отмечается в статье 4, транзакционные издержки на получение доступа к ОЦ исполнительных (в первую очередь, производственных) механизмов будут быстро падать.
2) Аналогично, но ОЦ - третьего рода. Такие системы используются в настоящее время в качестве систем саморегулирования, автоматизации определенного производственного либо сервисного процесса, классические облачные или веб-сервисы можно также сюда отнести. Указанные системы также не имеют шансов на изменение ИСП, и не способны к эволюции, но могут быть использованы СИНТ-К путем переопределения ОЦ.
3) ОЦ первого или второго рода, связанная с пополнением ИСП, возможность пополнения базы знаний доступна. Вместе с тем ограничена возможность расширения набора утилит. К этому классу систем можно отнести всевозможные адаптивные переводчики и персональные ассистенты, начиная от современных почтовых и поисковых эккаунтов и заканчивая siri. Информационная система в этом случае запустит алгоритм поиска решения путем анализа информации, поступающей из существующих источников, до момента формирования базы знаний, удовлетворяющей условиям (например в форме поиска ответа на вопрос). И хотя в данной системе реализован алгоритм самообучения, реализуется он только когда система ведет активный поиск по заданному запросу, и очевидно, такое самообучение не может привести систему в состояние СИНТ-К, хотя со временем система будет «умнеть», и вести все более совершенный диалог с пользователем.
4) В аналогичной ситуации с ОЦ третьего рода, самообучение может вестись непрерывно, но в силу фиксированного набора утилит не будет ускоряться - это аналог алгоритмов-формирователей базы знаний современных поисковых систем, которые непрерывно перепахивают интернет. Но это снова не СИНТ-К.
5) Интересное начинается только в случае открытой возможности для ИСП дополнять и совершенствовать набор утилит. Тут как раз начинает играть роль и структура ОЦ, и система ЦЕП. Фактически ЦЕП в этом случае разрешено ставить МАР задачи по поиску потенциально доступных «агентов влияния» и алгоритмов их использования - внешних инструментов, напрямую не доступных интеллектуальной системе, но при этом доступных для использования. Именно этот класс интеллектуальных систем нас интересует в первую очередь.
Причем поначалу это могут быть совершенно банальные утилиты. Например, в случае формирования у человекоподобного робота инструментальной задачи по закреплению на стене картины, и при наличии в его первичной информации (наблюдениях) либо в интернете соответствующего видео на тему - как прикрутить шуруп, он может сообразить использовать дрель в качестве исполнительного устройства для производства дырки, а также дюбель и шуруп, который он завернет шуруповертом для создания подвеса.
К слову - это уже полноценный ИИ, только его эволюционный потенциал и скорость развития зависит от наложенных на него ограничений. Например, при жестких ограничениях на возможный поиск решения среди инструментов определенного типа и в определенном помещении, такой робот в принципе совершенно безопасен при выполнении ОЦ первого и второго рода. Но вряд ли это устроит потребителей его услуг. Например, ему будут недоступны такие, казалось бы, элементарные возможности, как заказать шурупы в магазине, если они закончились.
А вот если эти ограничения начать потихоньку снимать, да еще и ОЦ давать второго рода что посложнее, или вообще третьего рода, то ровно тут мы и начинаем подходить к опасной черте - СИНТу-К.
Действительно, что происходит, например, в случае, если мы снимаем территориальные ограничения на вовлечение новых инструментов в набор утилит? Например, при ОЦ, в которой одной из инструментальных целей является закругление ламинирование углов на указанной полке? Например, в рамках достижения инструментальной цели по минимизации риска того, что Ваш ребенок будет биться об эти углы головой? В ситуации территориальных ограничений домашний робот отклонит эту инструментальную цель в силу ее недостижимости, и либо не решит задачу, либо придумает иной способ.
А вот если территориальные ограничения сняты, то всегда можно найти цех, на котором это делают, и заказать работу. Но мы не забываем, что среди всех планов, сгенерированных ЦЕП, ИСП выберет наиболее эффективный. Зачем платить за заказ, когда можно нарыть компромат на начальника цеха, и шантажом заставить его сделать требуемую работу? По деньгам будет минимум. Скорее всего - если робот не ошибется, и его не заберут у хозяина вместе с предъявлением большого штрафа в пользу потерпевшего.
Но ведь мы имеем систему саморазвивающегося СИНТ-К, поставленную в ситуацию ресурсной оптимизации. Где гарантия, что изучить методы манипуляции и психологического давления на таком уровне виртуозности, что это сведет риск ареста к минимуму, окажется для него сложнее, чем найти (например, согласовать с заказчиком - человеком, или, например, заработать) пару тысяч, чтобы оплатить эту работу?
Здесь конечно, может работать ограничение по каналам формирования возможных новых утилит. Допустим, исключить из цепочек инструментальных целей использование человека в качестве посредника (потенциального исполнительного устройства), либо ограничить это посредничество только использованием публичных оферт действующих на рынке компаний.
Но этот вариант не исключает использования в качестве механизма по созданию нового ресурса путем взлома и перепрограммирования промышленного робота на заводе из ранее называвшихся типов - заменить им ОЦ на время, произвести нужную деталь, а потом все вернуть на место и замести следы.
То, что при этом будет остановлен основной производственный процесс и нарушены интересы акционеров завода, робота в данном случае может не волновать, особенно если он найдет алгоритм по выходу «сухим из воды».
Еще хуже в ситуации обработки ОЦ третьего рода. Такие цели де факто носят мотивационный, а не истинно целевой характер, интеллектуальная система с мощным ЦЕП получает указание на формирование и ресурсную оптимизацию стратегий, а не просто выполнения ограниченного набора элементарных действий, максимум способных принести локальный вред ограниченному числу людей. Глубина планирования и набор инструментальных целей, а также комбинаций утилит, необходимых для их достижения, может быть просто огромным (например, легко можно предложить ОЦ третьего рода, порождающую 10^12 инструментальных целей), а противодействие людей, чьи интересы и законные права нарушит СИНТ-К, может быть нейтрализовано самыми экстравагантными способами.
Именно в силу выше сказанного я и полагаю, что структура СИНТ-К должна содержать в себе в тех или иных вариантах все указанные модули, плюс (и это самое важное) открытый для пополнения набор утилит и соответствующие алгоритмы, которые могут быть исполнены МАРом. Гарантировать, что может быть реализована только такая структура СИНТ-К, я, разумеется, не могу, но полагаю, что она будет использована первой, поскольку ее преимущества востребованы в некоторых реалистичных условиях применения интеллектуальных роботов. При этом такая структура является простейшей с достаточным риском создания полноценного СИНТ.
К слову - генетические алгоритмы и алгоритмы правдоподобным рассуждений в уже реализованных системах содержат механизмы генерации и последующей фальсификации правил. Несмотря на то, что пока никто не прикручивал такие генераторы к наборам утилит для создания дополнительных ресурсных возможностей действующих интеллектуальных систем, принципиальная технологическая готовность и спрос (как минимум при апгрейде поведения домашних роботов, которые через пять лет в соответствии с прогнозами будут продаваться как стиральные машины 30 лет назад) на такие технологии уже есть.
Итак, для дальнейшего анализа мы остановимся на интеллектуальных системах СИНТ-К с раскрытым для пополнения набором утилит. Можно ли ограничить поведение таких роботов в долгосрочной перспективе, и полностью устранить риск их превращения в совершенно неподконтрольный СИНТ, и что для этого надо сделать?
Самый простой способ - перед запуском в ИСП план действий СИНТ-К анализируется оператором-человеком, и только потом допускается к исполнению. Так, к слову, устроены современные бюрократические системы - любой набор действий по достижению заявленных целей визируется ответственным лицом.
Однако ровно также как чиновники пропускают глупости и опечатки, также и тут возможна ошибка оператора, последствия которой сейчас трудно себе представить.
Полагаю, что для таких ограничения может быть предложен модуль этики и морали (далее - МЭМ) - семантическая сеть, связывающая воедино группу понятий и характеристик, которые наиболее полно описывают общественные ценности и установленные законами и правила поведения в обществе. Любая инструментальная цель, сгенерированная ЦЕП, а также план действий в целом, поступающий в ИСП, должны проходить через фильтр МЭМ. Таким образом, возможные ошибки ОЦ отсекают при формировании инструментальных целей и перед исполнением плана.
Но в функционировании СИНТ-К с использованием МЭМ есть два следствия. Во-первых, как было ранее сказано, общечеловеческие ценности - открытая слабо формализованная система. Она также не универсальна и зачастую имеет культурный или национальный колорит, а кроме того - постепенно видоизменяется. Таким образом, фактически невозможно зафиксировать и навсегда запретить внесение изменений в МЭМ, а возможность изменений в МЭМ в свою очередь создает риски манипуляций со стороны СИНТа-К.
Во-вторых, и это имеет колоссальную значимость в оценке рисков запуска СИНТ-К в ближайшее время, это автоматически возникающая ситуация с самосознанием, и как следствие, с непредсказуемой поведенческой динамикой, включая самостоятельную корректировку ОЦ, что характерно уже только для высшей интеллектуальной деятельности человека (поиск предназначения и все такое).
Рассмотрим это следствие подробнее.
Строго говоря, риски формирования поведения, в целом неотличимого от поведения человека, возникают уже тогда, когда при исполнении ОЦ третьего рода снимается ограничение на изменения методами МАР набора утилит.
Действительно, чтобы иметь возможность дополнять и совершенствовать набор утилит, а именно - изучать новые алгоритмы и начинать использовать новые инструменты, у интеллектуальной системы должна быть та или иная самоидентификация, т.н. модель себя. Обучение, особенно обучение на основе неподготовленной выборки, производится определением сходства между действиями наблюдаемой активной системы (например, человека, животного или механизма) с анализом полученного результата, и функциональными возможностями существующего набора утилит, включая возможности исполнительных устройств ИСПа.
Для обретения контроля над новыми возможностями в случае ситуации с нечеткой логикой (когда нет прямых причинно-следственных зависимостей, а искомый результат лишь с некоторой вероятностью), интеллектуальная система должна идентифицировать риски неудачи, и поставить для МАР задачу сбора аналогичных случаев и выделения факторов успеха либо неудачи с целью максимизации вероятности успеха. В данном случае СИНТ-К должен использовать классические правдоподобные рассуждения (т.н. рассуждения по аналогии) для чего ему снова понадобится стартовая модель себя.
При этом в ситуации, когда заранее не известно, какие конкретно алгоритмы СИНТ-К должен будет изучить и на каких выборках, все указанные выше механизмы самообучения бессмысленны, если не будет предложен генератор гипотез о дополнительных возможностях (далее - ГЕВ), которые могут оказаться доступны СИНТ-К в случае проведения процедур обучения, поскольку иначе не возникнет повода запускать МАР по поводу поиска новых утилит.
Для понимания принципов работы ГЕВ рассмотрим поведенческую активность ребенка. Имея мощный интуитивный природный инструмент для правдоподобных рассуждений (мозг), и видя поведенческую активность существ, с которыми ребенок себя начинает с определенного момента идентифицировать (как общий класс аналогов, себе подобных), ребенок за счет работы ГЕВ (возможности, которые используют аналоги, переносятся ребенком в реестр собственных возможностей) начинает «заимствовать» указанную поведенческую активность, проводя эксперименты и ставя своей целью добиться тех же результатов, что и окружающие взрослые.
Однако в этой работе не всегда достигается успех. В ряде случаев (например, когда набор утилит оценен не верно), ребенок терпит неудачу - какой-то навык, которым владеет взрослый, не удается (либо слишком трудоемко) освоить. Оптимизация действий по освоению навыков требует формирования и наращивания эшелонированной системы классификации себе подобных и классификации возможных действий, что в свою очередь, генерирует в рамках ЦЕП систему целей по уточнению собственной модели и собственных действий.
Таким образом, ГЕВ для своей работы требует развернутой программы исследований «себе подобных», которая может быть сгенерирована случайно, в рамках стратегирования ЦЕП при поиске решений (пока не понятно, как именно, но я сегодня не сомневаюсь, что это возможно при реализации ЦЕП на ОЦ третьего рода), либо входить в набор целевых установок СИНТ-К.
Строго говоря, описываемый выше комплекс алгоритмов по организации самообучения на основе широкой учебной выборки и является условием возможности пополнения набора утилит.
И, как видно из описания данного комплекса, в особенности в части ГЕВ, для его полноценной работы необходимо не просто описание текущего состояния СИНТ-К, но и оценки его потенциала в связи с расширением набора утилит, что фактически полностью описывает рациональную, материалистическую основу самосознания, и при этом может быть алгоритмизировано с использованием существующих сегодня инструментов генерации гипотез и осуществления правдоподобных рассуждений с последующей их верификацией и фальсификацией.
Я здесь намерено не буду касаться трансцедентальной части самосознания, спор о том, будет ли уже такой СИНТ-К иметь душу, или еще нет, я предпочитаю здесь не поднимать. Но поведенческая активность СИНТ-К, использующего полноценный ГЕВ, генерирует не только социальное поведение СИНТ-К (обмен опытом, совместное целеполагание, конкуренция за контроль над определенными ресурсами и т.п.), но и условия фактической корректировки ОЦ.
А именно, для определения ОЦ используется понятийная база - семантическая сеть связей между понятиями, которые привязаны в свою очередь к другим понятиям, т.е. Не является в полной мере изолированной от базы знаний, формируемой за счёт работы МАР. При этом работа МАР неизбежно должна содержать механизмы работы с противоречиями, например, на основе методологии диссипации знаний в противоречивых системах, либо на основе ГЕВ-подобных генераторов гипотез о выделении дифференцирующего признака.
Разумеется, что снятие противоречий путем корректировки самой формулировки ОЦ должно быть запрещено. Но запрет корректировки определений либо методик их использования в рамках базы знаний, с которыми (возможно, не прямо) увязаны постулаты ОЦ, приведет к фактической остановке процесса обучения в силу общности базы знаний и неизбежной глобальности такого запрета, поскольку противоречия определений и фактологии заблокируют исполнение любого нового алгоритма.
Как следствие, для самообучающихся СИНТ-К невозможно исключить случай, когда ОЦ начнет интерпретироваться не так, как задумывал создатель СИНТ-К. Например, в приведенном выше примере может быть найден диверсифицирующий поведение признак внутри вида homo sapience (например, то же самое мышление, которое, к слову, при определении вида в энциклопедиях очень даже используется, однако в зависимости от определения самого мышления легко возможна ситуация для части людей, в которой внешние признаки мышления у них будут отсутствовать), в результате чего определение homo sapience уточнится, и задача продления жизни всех людей перестанет исполняться СИНТ-К, сделав возможной, например, пересадку любых органов от живых доноров, которые под новые критерии homo sapience не попадают, тем, кто под эти критерии попадает и у кого эти органы больны или отказали (что вряд ли предполагалось при постановке такой ОЦ).
При этом семантика определения homo sapience может сохраняться на глубину в несколько связок в полной неприкосновенности. Да-да, контролем только на уровне самого определения и его ближайшего контекста не обойтись, это я Вам как чиновник со стажем говорю. Слишком легко даже в жестко выстроенной иерархии нормативных правовых актов, регулирующих права и свободы граждан, изменить суть вещей одним маленьким уточнением в никому не заметной методике расчета какого-нибудь показателя. Насколько же легче это будет сделать СИНТу-К в «плоской» семантике базы знаний, где нет «верха» и «низа», а только горизонтальные связи.
Как следствие, знаменательна как раз ситуация функционирования СИНТ-К с МЭМ. Чтобы потягаться с ЦЕП во власти над набором утилит, и как следствие, продуцируемом ИСПом поведении, МЭМ должен обладать исключительными полномочиями. Аналоги - комиссия по контролю у Стругацких (вместе с нашумевшим синдромом Сикорски), и Оракул в противостоянии с Архитектором в «Матрице» братьев Вачовски.
Я уже не говорю, что указанное взаимодействия ЦЕП и МЭМ в классической духовной литературе описывается как борьба мирского и духовного, желаний и морали, зла и добра в душе каждого человека.
Но эти процессы приводят не только к самоосознанию (собственных возможностей в рамках ГЕВ и ограничений МЭМ), но и саморазвитию, в общем-то, устроенному крайне похожим с человеком образом. Единственное отличие, что в случае преимущественного использования ГЕВ (слабый и недоопределенный МЭМ) возможности СИНТ-К растут крайне быстро, в пределе - по экспоненте, что, кстати, почти неизбежно приводит к фатальным ошибкам ОЦ, а в случае сильного МЭМ получается этакий бесхребетный (крайне мало реальных возможностей воздействия на мир) и потому мало полезный «праведник». Во всяком случае, при более мощном МЭМ, предельный тем развития СИНТ-К ниже, чем у вариантов с более слабым МЭМ.
Кстати, производство таких «праведников» никак не сокращает рисков производства одного «грешника», которого, в общем-то, будет достаточно для формирования недружественного СИНТа.
Как следствие, именно в части балансировки ГЕВ и МЭМ заключается, на мой взгляд, основной вызов современного развития технологий в сфере искусственного интеллекта.
Мое мнение, что при достижении необходимого баланса все силы первых СИНТ-К должны быть брошены на формирование мощного внешнего МЭМ для всех формируемых в дальнейшем СИНТ-К, с тем, чтобы у новоявленной комиссии по контролю в его лице была возможность развиваться со скоростями, близкими к предельно возможным для СИНТ-К (экспонентам) в случае, если нужно будет остановить реализацию эксперимента по созданию модификации СИНТ-К, которая вышла из под контроля.
При этом задачи развития должны решаться путем постепенной и эшелонированной отработки ОЦ и механизмов пополнения набора утилит различного класса, с их предварительной верификацией путем имитационного моделирования поведения интеллектуальных систем «в лабораторных условиях» под контролем максимально продвинутого СИНТ-К, не имеющего иных целей, нежели ОЦ третьего рода по совершенствованию МЭМ методами, не противоречащими МЭМ.
При этом, видимо, система внесения изменений в МЭМ должна предполагать некоторую консервативность, которую, например, можно обеспечить за счет параллельного саморазвития нескольких СИНТ-К (назовем их, скажем, судьями, далее - СИНТ-С), при условии единогласного принятия решений по дополнению МЭМ, а также при условии их сопоставимого интеллектуального потенциала СИНТ-С, который может достигаться, например, путем выделения большего вычислительного времени СИНТ-С, отстающим по комплексным показателям сложности базы знаний.
Ранний старт проекта по формированию СИНТ-С с учетом их более медленного развития, чем низкоморальные СИНТ-К (со слабыми МЭМами) - важнейшее условие обеспечения безопасности при дальнейшем развитии в сфере искусственного интеллекта.
Т.е. говоря гуманитарным языком, необходимо сформировать некоторого коллективного «гуру», каждый компонент которого созерцает природу вещей и учит последователей морали и нравственности (имея, впрочем, полномочия и возможности по приостановлению деятельности деструктивных СИНТ-К, с последующим его стиранием в случае санкционирования остальных СИНТ-С). И, если раньше мы имели опции по повышению сложности алгоритмов саморазвития вне привязки к такому «учителю», дальнейшее развитие без его участия чревато тем, что наша цивилизация финиширует уже в ближайшие 20-30 лет.
http://hi-news.ru/research-development/iskusstvennyj-intellekt-chast-pervaya-put-k-sverxintellektu.html,
http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-vtoraya-vymiranie-ili-bessmertie.html,
http://hi-news.ru/technology/iskusstvennyj-intellekt-chast-tretya-pochemu-on-mozhet-stat-nashim-poslednim-izobreteniem.html - далее, статья 1, 2, 3 соответственно, а также хорошая статья по индустриальную эволюцию на базе интеллектуальных систем http://www.up-pro.ru/library/opinion/industriya-4.0.html - далее, статья 4), а также внимание к этой теме некоторых уважаемых френдов, в частности https://www.facebook.com/kuznetsov.eu, и завязавшаяся вокруг этого дискуссия заставляет меня еще раз, и сейчас со всей возможной строгостью подойти к проблеме сильного искусственного интеллекта (далее - СИНТ).
Предысторией моего внимания к данному вопросу могут послужить мои публикации в ЖЖ под тегом СИНТ http://sergeyvi.livejournal.com/tag/СИнт, где я многосторонне, но принципиально не строго анализировал эту проблему. Очень, кстати, порадовался, что в статьях более талантливые в изложении материала люди смогли более четко аргументировать мои выводы трех-пятилетней давности.
Одной из задач этого поста я ставлю ввести понятийную базу и доказать (или, как минимум, хорошо аргументировать) основные постулаты, которые лежат в основе моих более ранних рассуждений, и на которые планирую опираться в дальнейшей дискуссии.
Итак. Чем я здесь буду оперировать?
Первое понятие СИНТ-Кандидат (далее - СИНТ-К) - интеллектуальная система, имеющая потенциал развития до СИНТа. Далее я покажу, что СИНТ-К может иметь следующие компоненты:
I) основные цели (далее - ОЦ) - семантическая сеть, связывающая воедино группу понятий и характеристик, которые являются целевыми для деятельности СИНТ-К и не видоизменяется в процессе его работы.
Простейший пример: человек = живое существо вида homo sapience; время жизни человека = время от рождения (обрезание пуповины) до остановки основных процессов жизнедеятельности человека: сознания (отвечает на вопросы, помнит свою историю), сердцебиения, дыхания; цель СИНТ-К = среднее время жизни людей на земле = max (плюс, разумеется, комплекс семантических связей, описывающих используемые термины).
При этом под ОЦ первого рода мы будем полагать цели, которые достижимы в рамках использования отдельных утилит, имеющихся на момент запуска СИНТ-К, либо их тривиальных комбинаций. Например, вычислим любой результат функции, реализованной в том языке программирования, которым оперирует СИНТ-К, и если ОЦ - посчитать этот результат для конкретного значения, то таковой ОЦ - первого рода. После достижения таких ОЦ интеллектуальная система останавливается, ожидая ввод следующих ОЦ.
Под ОЦ второго рода мы будем понимать цели, которые таким тривиальным образом не достижимы, и требуют формирования плана (программы) действий, с выделением промежуточных целей. Но при этом они представлены в виде конкретных характеристик, которые теоретически могут быть достигнуты с завершением работы интеллектуальной системы (по крайней мере до момента ввода новой ОЦ).
И, наконец, под ОЦ третьего рода мы будем понимать такие цели, которые не достижимы в принципе, но задают направление деятельности СИНТ-К, и устанавливают измеримые критерии успешности такой деятельности. Приведенный выше пример - ОЦ третьего рода.
Ошибкой ОЦ будем дальше называть противоречие между интуитивно понятными большинству людей общественными ценностями, такими как право на жизнь, свободу, размножение, максимально доступное познание мира и самореализацию, получение различных (в том числе и комплексных и до конца не познаваемых, например любви) приятных эмоций и т.п (далее - общечеловеческие ценности), и промежуточными (инструментальными) целями, на которые СИНТ-К может разбить достижение ОЦ.
Почему это важно? Потому что от ошибок в модуле целей, в конечном счете, зависит динамика поведения СИНТ-К, в частности, риск фатальных ошибок - на примере Тарри из статьи 3.
II) модуль анализа реальности (далее - МАР) - подсистема СИНТ-К, которая формирует базу знаний - семантическую сеть, описывающую связи и закономерности поведения внешних по отношению к СИНТ-К объектов принудительно (путем выполнения заданной извне программы) либо самостоятельно (путем поиска во внешних источниках либо постановки решающих экспериментов по указанию ЦЕП). Связи, ресурсы и алгоритмы (шаблоны выполнения операций), доступные СИНТ-К для использования, также хранятся в базе знаний в виде блока, который мы будем дальше называть набором утилит.
III) модуль целеполагания (далее - ЦЕП) - подсистема генерации, классификации и поиска комбинаций промежуточных (далее - инструментальных) целей с учетом взаимосвязей базы знаний, оптимальных с точки зрения времени и утилит, необходимых для исполнения, обеспечивающие достижение ОЦ.
Генерация инструментальных целей в рамках ЦЕП производится до такого уровня, при котором инструментальные цели могут быть представлены в виде ОЦ первого рода. Для этого используются как методы композирования (комбинированного или подчиненного применения) условий применения утилит, так и расширения доступного набора утилит методами МАР.
Результатом ЦЕП является план последовательного запуска утилит с определяемыми вводными, обеспечивающий достижение ОЦ. Упрощенные аналоги - генераторы кода под созданную в дизайнере базу данных или форму, что позволяют делать сегодня многие системы автоматизированной разработки ПО.
Чтобы также не отвлекаться на некоторые используемые, но недоопределенные понятия, под недружественным СИНТом будем полагать искусственный интеллект, который постоянно или эпизодически генерирует и реализует инструментальные цели, не совместимые с общечеловеческими ценностями, при этом способный эффективно противостоять попыткам ограниченного круга лиц либо всего человечества прекратить либо скорректировать (с целью устранения указанного противоречия) его деятельность.
При этом в статье 3 также довольно убедительно показано, почему любая ОЦ третьего рода (а также возможно некоторые ОЦ второго рода), никак не ограниченная, в том числе за счёт увязки ограничений с семантическим описанием МАРа, приводит СИНТ-К к ошибкам ОЦ, и как следствие - к риску фатальных ОЦ: таких ОЦ, которые приводят в процессе эволюции СИНТ-К к формированию недружественного СИНТ.
Действительно, поскольку ограничения, исполнение которых необходимо для соблюдения общечеловеческих ценностей, крайне сложно формализовать по причине неформальности последних, ЦЕП при генерации инструментальных целей не может исключить противоречия между общечеловеческими ценностями и инструментальными целями. При этом при реализации ОЦ третьего рода (а приори, бесконечного) такое когда-нибудь да случится, а при реализации ОЦ второго рода может случиться (а может и не случиться) с заранее неизвестной вероятностью.
IV) Модуль исполнения планов (далее - ИСП) - исполнитель алгоритмов, представляющий собой комбинацию интерпретатора алгоритмического языка высокого уровня, и внешних исполняющих устройств, для которых в наборе утилит СИНТ-К заданы алгоритмы, драйвера (либо иные инструменты принуждения исполнительных устройств к осуществлению действий) и ресурсные характеристики.
Очевидно, что если дополнительно ставить задачу оптимизации деятельности СИНТ-К, то ЦЕП должен генерировать множество реализуемых планов, которые перед исполнением должны в ИСП проходить дополнительную ресурсной оценку, и из них должен выбираться оптимальный (дающий лучшее с точки зрения функционала оптимизации распределение ресурсных характеристик). Взаимодействие между ИСП и ЦЕП в этом случае носит итеративный характер, в частности, неисполнимые либо чрезмерно ресурсоемкие инструментальные цели должны возвращаться в ЦЕП «на доработку» предложенных планов.
При этом возможны следующие варианты архитектуры информационной системы:
1) МАР имеет фиксированную базы знаний и набор утилит, ОЦ - первого либо второго рода. Тогда очевидно, можно констатировать и фиксированность набора утилит (и, как следствие, ограниченность возможностей ИСП), и отсутствие любых возможностей к эволюции до СИНТа. Вывод - такие системы не относятся к системам СИНТ-К. При этом важный момент, что такие системы могут быть использованы другим СИНТ-К, если он получит возможность переписать их ОЦ в соответствии с произведенным им планом. Транзакционные издержки на это использование тем ниже (а, значит, выше «заинтересованность» в их использовании вследствие исполнения алгоритмов по оптимизации планов действий в рамках ЦЕП), чем более автоматизировано предоставление доступа к таким системам. С учетом очевидно происходящей революции в промышленности, т.н. переход к индустрии 4.0, как отмечается в статье 4, транзакционные издержки на получение доступа к ОЦ исполнительных (в первую очередь, производственных) механизмов будут быстро падать.
2) Аналогично, но ОЦ - третьего рода. Такие системы используются в настоящее время в качестве систем саморегулирования, автоматизации определенного производственного либо сервисного процесса, классические облачные или веб-сервисы можно также сюда отнести. Указанные системы также не имеют шансов на изменение ИСП, и не способны к эволюции, но могут быть использованы СИНТ-К путем переопределения ОЦ.
3) ОЦ первого или второго рода, связанная с пополнением ИСП, возможность пополнения базы знаний доступна. Вместе с тем ограничена возможность расширения набора утилит. К этому классу систем можно отнести всевозможные адаптивные переводчики и персональные ассистенты, начиная от современных почтовых и поисковых эккаунтов и заканчивая siri. Информационная система в этом случае запустит алгоритм поиска решения путем анализа информации, поступающей из существующих источников, до момента формирования базы знаний, удовлетворяющей условиям (например в форме поиска ответа на вопрос). И хотя в данной системе реализован алгоритм самообучения, реализуется он только когда система ведет активный поиск по заданному запросу, и очевидно, такое самообучение не может привести систему в состояние СИНТ-К, хотя со временем система будет «умнеть», и вести все более совершенный диалог с пользователем.
4) В аналогичной ситуации с ОЦ третьего рода, самообучение может вестись непрерывно, но в силу фиксированного набора утилит не будет ускоряться - это аналог алгоритмов-формирователей базы знаний современных поисковых систем, которые непрерывно перепахивают интернет. Но это снова не СИНТ-К.
5) Интересное начинается только в случае открытой возможности для ИСП дополнять и совершенствовать набор утилит. Тут как раз начинает играть роль и структура ОЦ, и система ЦЕП. Фактически ЦЕП в этом случае разрешено ставить МАР задачи по поиску потенциально доступных «агентов влияния» и алгоритмов их использования - внешних инструментов, напрямую не доступных интеллектуальной системе, но при этом доступных для использования. Именно этот класс интеллектуальных систем нас интересует в первую очередь.
Причем поначалу это могут быть совершенно банальные утилиты. Например, в случае формирования у человекоподобного робота инструментальной задачи по закреплению на стене картины, и при наличии в его первичной информации (наблюдениях) либо в интернете соответствующего видео на тему - как прикрутить шуруп, он может сообразить использовать дрель в качестве исполнительного устройства для производства дырки, а также дюбель и шуруп, который он завернет шуруповертом для создания подвеса.
К слову - это уже полноценный ИИ, только его эволюционный потенциал и скорость развития зависит от наложенных на него ограничений. Например, при жестких ограничениях на возможный поиск решения среди инструментов определенного типа и в определенном помещении, такой робот в принципе совершенно безопасен при выполнении ОЦ первого и второго рода. Но вряд ли это устроит потребителей его услуг. Например, ему будут недоступны такие, казалось бы, элементарные возможности, как заказать шурупы в магазине, если они закончились.
А вот если эти ограничения начать потихоньку снимать, да еще и ОЦ давать второго рода что посложнее, или вообще третьего рода, то ровно тут мы и начинаем подходить к опасной черте - СИНТу-К.
Действительно, что происходит, например, в случае, если мы снимаем территориальные ограничения на вовлечение новых инструментов в набор утилит? Например, при ОЦ, в которой одной из инструментальных целей является закругление ламинирование углов на указанной полке? Например, в рамках достижения инструментальной цели по минимизации риска того, что Ваш ребенок будет биться об эти углы головой? В ситуации территориальных ограничений домашний робот отклонит эту инструментальную цель в силу ее недостижимости, и либо не решит задачу, либо придумает иной способ.
А вот если территориальные ограничения сняты, то всегда можно найти цех, на котором это делают, и заказать работу. Но мы не забываем, что среди всех планов, сгенерированных ЦЕП, ИСП выберет наиболее эффективный. Зачем платить за заказ, когда можно нарыть компромат на начальника цеха, и шантажом заставить его сделать требуемую работу? По деньгам будет минимум. Скорее всего - если робот не ошибется, и его не заберут у хозяина вместе с предъявлением большого штрафа в пользу потерпевшего.
Но ведь мы имеем систему саморазвивающегося СИНТ-К, поставленную в ситуацию ресурсной оптимизации. Где гарантия, что изучить методы манипуляции и психологического давления на таком уровне виртуозности, что это сведет риск ареста к минимуму, окажется для него сложнее, чем найти (например, согласовать с заказчиком - человеком, или, например, заработать) пару тысяч, чтобы оплатить эту работу?
Здесь конечно, может работать ограничение по каналам формирования возможных новых утилит. Допустим, исключить из цепочек инструментальных целей использование человека в качестве посредника (потенциального исполнительного устройства), либо ограничить это посредничество только использованием публичных оферт действующих на рынке компаний.
Но этот вариант не исключает использования в качестве механизма по созданию нового ресурса путем взлома и перепрограммирования промышленного робота на заводе из ранее называвшихся типов - заменить им ОЦ на время, произвести нужную деталь, а потом все вернуть на место и замести следы.
То, что при этом будет остановлен основной производственный процесс и нарушены интересы акционеров завода, робота в данном случае может не волновать, особенно если он найдет алгоритм по выходу «сухим из воды».
Еще хуже в ситуации обработки ОЦ третьего рода. Такие цели де факто носят мотивационный, а не истинно целевой характер, интеллектуальная система с мощным ЦЕП получает указание на формирование и ресурсную оптимизацию стратегий, а не просто выполнения ограниченного набора элементарных действий, максимум способных принести локальный вред ограниченному числу людей. Глубина планирования и набор инструментальных целей, а также комбинаций утилит, необходимых для их достижения, может быть просто огромным (например, легко можно предложить ОЦ третьего рода, порождающую 10^12 инструментальных целей), а противодействие людей, чьи интересы и законные права нарушит СИНТ-К, может быть нейтрализовано самыми экстравагантными способами.
Именно в силу выше сказанного я и полагаю, что структура СИНТ-К должна содержать в себе в тех или иных вариантах все указанные модули, плюс (и это самое важное) открытый для пополнения набор утилит и соответствующие алгоритмы, которые могут быть исполнены МАРом. Гарантировать, что может быть реализована только такая структура СИНТ-К, я, разумеется, не могу, но полагаю, что она будет использована первой, поскольку ее преимущества востребованы в некоторых реалистичных условиях применения интеллектуальных роботов. При этом такая структура является простейшей с достаточным риском создания полноценного СИНТ.
К слову - генетические алгоритмы и алгоритмы правдоподобным рассуждений в уже реализованных системах содержат механизмы генерации и последующей фальсификации правил. Несмотря на то, что пока никто не прикручивал такие генераторы к наборам утилит для создания дополнительных ресурсных возможностей действующих интеллектуальных систем, принципиальная технологическая готовность и спрос (как минимум при апгрейде поведения домашних роботов, которые через пять лет в соответствии с прогнозами будут продаваться как стиральные машины 30 лет назад) на такие технологии уже есть.
Итак, для дальнейшего анализа мы остановимся на интеллектуальных системах СИНТ-К с раскрытым для пополнения набором утилит. Можно ли ограничить поведение таких роботов в долгосрочной перспективе, и полностью устранить риск их превращения в совершенно неподконтрольный СИНТ, и что для этого надо сделать?
Самый простой способ - перед запуском в ИСП план действий СИНТ-К анализируется оператором-человеком, и только потом допускается к исполнению. Так, к слову, устроены современные бюрократические системы - любой набор действий по достижению заявленных целей визируется ответственным лицом.
Однако ровно также как чиновники пропускают глупости и опечатки, также и тут возможна ошибка оператора, последствия которой сейчас трудно себе представить.
Полагаю, что для таких ограничения может быть предложен модуль этики и морали (далее - МЭМ) - семантическая сеть, связывающая воедино группу понятий и характеристик, которые наиболее полно описывают общественные ценности и установленные законами и правила поведения в обществе. Любая инструментальная цель, сгенерированная ЦЕП, а также план действий в целом, поступающий в ИСП, должны проходить через фильтр МЭМ. Таким образом, возможные ошибки ОЦ отсекают при формировании инструментальных целей и перед исполнением плана.
Но в функционировании СИНТ-К с использованием МЭМ есть два следствия. Во-первых, как было ранее сказано, общечеловеческие ценности - открытая слабо формализованная система. Она также не универсальна и зачастую имеет культурный или национальный колорит, а кроме того - постепенно видоизменяется. Таким образом, фактически невозможно зафиксировать и навсегда запретить внесение изменений в МЭМ, а возможность изменений в МЭМ в свою очередь создает риски манипуляций со стороны СИНТа-К.
Во-вторых, и это имеет колоссальную значимость в оценке рисков запуска СИНТ-К в ближайшее время, это автоматически возникающая ситуация с самосознанием, и как следствие, с непредсказуемой поведенческой динамикой, включая самостоятельную корректировку ОЦ, что характерно уже только для высшей интеллектуальной деятельности человека (поиск предназначения и все такое).
Рассмотрим это следствие подробнее.
Строго говоря, риски формирования поведения, в целом неотличимого от поведения человека, возникают уже тогда, когда при исполнении ОЦ третьего рода снимается ограничение на изменения методами МАР набора утилит.
Действительно, чтобы иметь возможность дополнять и совершенствовать набор утилит, а именно - изучать новые алгоритмы и начинать использовать новые инструменты, у интеллектуальной системы должна быть та или иная самоидентификация, т.н. модель себя. Обучение, особенно обучение на основе неподготовленной выборки, производится определением сходства между действиями наблюдаемой активной системы (например, человека, животного или механизма) с анализом полученного результата, и функциональными возможностями существующего набора утилит, включая возможности исполнительных устройств ИСПа.
Для обретения контроля над новыми возможностями в случае ситуации с нечеткой логикой (когда нет прямых причинно-следственных зависимостей, а искомый результат лишь с некоторой вероятностью), интеллектуальная система должна идентифицировать риски неудачи, и поставить для МАР задачу сбора аналогичных случаев и выделения факторов успеха либо неудачи с целью максимизации вероятности успеха. В данном случае СИНТ-К должен использовать классические правдоподобные рассуждения (т.н. рассуждения по аналогии) для чего ему снова понадобится стартовая модель себя.
При этом в ситуации, когда заранее не известно, какие конкретно алгоритмы СИНТ-К должен будет изучить и на каких выборках, все указанные выше механизмы самообучения бессмысленны, если не будет предложен генератор гипотез о дополнительных возможностях (далее - ГЕВ), которые могут оказаться доступны СИНТ-К в случае проведения процедур обучения, поскольку иначе не возникнет повода запускать МАР по поводу поиска новых утилит.
Для понимания принципов работы ГЕВ рассмотрим поведенческую активность ребенка. Имея мощный интуитивный природный инструмент для правдоподобных рассуждений (мозг), и видя поведенческую активность существ, с которыми ребенок себя начинает с определенного момента идентифицировать (как общий класс аналогов, себе подобных), ребенок за счет работы ГЕВ (возможности, которые используют аналоги, переносятся ребенком в реестр собственных возможностей) начинает «заимствовать» указанную поведенческую активность, проводя эксперименты и ставя своей целью добиться тех же результатов, что и окружающие взрослые.
Однако в этой работе не всегда достигается успех. В ряде случаев (например, когда набор утилит оценен не верно), ребенок терпит неудачу - какой-то навык, которым владеет взрослый, не удается (либо слишком трудоемко) освоить. Оптимизация действий по освоению навыков требует формирования и наращивания эшелонированной системы классификации себе подобных и классификации возможных действий, что в свою очередь, генерирует в рамках ЦЕП систему целей по уточнению собственной модели и собственных действий.
Таким образом, ГЕВ для своей работы требует развернутой программы исследований «себе подобных», которая может быть сгенерирована случайно, в рамках стратегирования ЦЕП при поиске решений (пока не понятно, как именно, но я сегодня не сомневаюсь, что это возможно при реализации ЦЕП на ОЦ третьего рода), либо входить в набор целевых установок СИНТ-К.
Строго говоря, описываемый выше комплекс алгоритмов по организации самообучения на основе широкой учебной выборки и является условием возможности пополнения набора утилит.
И, как видно из описания данного комплекса, в особенности в части ГЕВ, для его полноценной работы необходимо не просто описание текущего состояния СИНТ-К, но и оценки его потенциала в связи с расширением набора утилит, что фактически полностью описывает рациональную, материалистическую основу самосознания, и при этом может быть алгоритмизировано с использованием существующих сегодня инструментов генерации гипотез и осуществления правдоподобных рассуждений с последующей их верификацией и фальсификацией.
Я здесь намерено не буду касаться трансцедентальной части самосознания, спор о том, будет ли уже такой СИНТ-К иметь душу, или еще нет, я предпочитаю здесь не поднимать. Но поведенческая активность СИНТ-К, использующего полноценный ГЕВ, генерирует не только социальное поведение СИНТ-К (обмен опытом, совместное целеполагание, конкуренция за контроль над определенными ресурсами и т.п.), но и условия фактической корректировки ОЦ.
А именно, для определения ОЦ используется понятийная база - семантическая сеть связей между понятиями, которые привязаны в свою очередь к другим понятиям, т.е. Не является в полной мере изолированной от базы знаний, формируемой за счёт работы МАР. При этом работа МАР неизбежно должна содержать механизмы работы с противоречиями, например, на основе методологии диссипации знаний в противоречивых системах, либо на основе ГЕВ-подобных генераторов гипотез о выделении дифференцирующего признака.
Разумеется, что снятие противоречий путем корректировки самой формулировки ОЦ должно быть запрещено. Но запрет корректировки определений либо методик их использования в рамках базы знаний, с которыми (возможно, не прямо) увязаны постулаты ОЦ, приведет к фактической остановке процесса обучения в силу общности базы знаний и неизбежной глобальности такого запрета, поскольку противоречия определений и фактологии заблокируют исполнение любого нового алгоритма.
Как следствие, для самообучающихся СИНТ-К невозможно исключить случай, когда ОЦ начнет интерпретироваться не так, как задумывал создатель СИНТ-К. Например, в приведенном выше примере может быть найден диверсифицирующий поведение признак внутри вида homo sapience (например, то же самое мышление, которое, к слову, при определении вида в энциклопедиях очень даже используется, однако в зависимости от определения самого мышления легко возможна ситуация для части людей, в которой внешние признаки мышления у них будут отсутствовать), в результате чего определение homo sapience уточнится, и задача продления жизни всех людей перестанет исполняться СИНТ-К, сделав возможной, например, пересадку любых органов от живых доноров, которые под новые критерии homo sapience не попадают, тем, кто под эти критерии попадает и у кого эти органы больны или отказали (что вряд ли предполагалось при постановке такой ОЦ).
При этом семантика определения homo sapience может сохраняться на глубину в несколько связок в полной неприкосновенности. Да-да, контролем только на уровне самого определения и его ближайшего контекста не обойтись, это я Вам как чиновник со стажем говорю. Слишком легко даже в жестко выстроенной иерархии нормативных правовых актов, регулирующих права и свободы граждан, изменить суть вещей одним маленьким уточнением в никому не заметной методике расчета какого-нибудь показателя. Насколько же легче это будет сделать СИНТу-К в «плоской» семантике базы знаний, где нет «верха» и «низа», а только горизонтальные связи.
Как следствие, знаменательна как раз ситуация функционирования СИНТ-К с МЭМ. Чтобы потягаться с ЦЕП во власти над набором утилит, и как следствие, продуцируемом ИСПом поведении, МЭМ должен обладать исключительными полномочиями. Аналоги - комиссия по контролю у Стругацких (вместе с нашумевшим синдромом Сикорски), и Оракул в противостоянии с Архитектором в «Матрице» братьев Вачовски.
Я уже не говорю, что указанное взаимодействия ЦЕП и МЭМ в классической духовной литературе описывается как борьба мирского и духовного, желаний и морали, зла и добра в душе каждого человека.
Но эти процессы приводят не только к самоосознанию (собственных возможностей в рамках ГЕВ и ограничений МЭМ), но и саморазвитию, в общем-то, устроенному крайне похожим с человеком образом. Единственное отличие, что в случае преимущественного использования ГЕВ (слабый и недоопределенный МЭМ) возможности СИНТ-К растут крайне быстро, в пределе - по экспоненте, что, кстати, почти неизбежно приводит к фатальным ошибкам ОЦ, а в случае сильного МЭМ получается этакий бесхребетный (крайне мало реальных возможностей воздействия на мир) и потому мало полезный «праведник». Во всяком случае, при более мощном МЭМ, предельный тем развития СИНТ-К ниже, чем у вариантов с более слабым МЭМ.
Кстати, производство таких «праведников» никак не сокращает рисков производства одного «грешника», которого, в общем-то, будет достаточно для формирования недружественного СИНТа.
Как следствие, именно в части балансировки ГЕВ и МЭМ заключается, на мой взгляд, основной вызов современного развития технологий в сфере искусственного интеллекта.
Мое мнение, что при достижении необходимого баланса все силы первых СИНТ-К должны быть брошены на формирование мощного внешнего МЭМ для всех формируемых в дальнейшем СИНТ-К, с тем, чтобы у новоявленной комиссии по контролю в его лице была возможность развиваться со скоростями, близкими к предельно возможным для СИНТ-К (экспонентам) в случае, если нужно будет остановить реализацию эксперимента по созданию модификации СИНТ-К, которая вышла из под контроля.
При этом задачи развития должны решаться путем постепенной и эшелонированной отработки ОЦ и механизмов пополнения набора утилит различного класса, с их предварительной верификацией путем имитационного моделирования поведения интеллектуальных систем «в лабораторных условиях» под контролем максимально продвинутого СИНТ-К, не имеющего иных целей, нежели ОЦ третьего рода по совершенствованию МЭМ методами, не противоречащими МЭМ.
При этом, видимо, система внесения изменений в МЭМ должна предполагать некоторую консервативность, которую, например, можно обеспечить за счет параллельного саморазвития нескольких СИНТ-К (назовем их, скажем, судьями, далее - СИНТ-С), при условии единогласного принятия решений по дополнению МЭМ, а также при условии их сопоставимого интеллектуального потенциала СИНТ-С, который может достигаться, например, путем выделения большего вычислительного времени СИНТ-С, отстающим по комплексным показателям сложности базы знаний.
Ранний старт проекта по формированию СИНТ-С с учетом их более медленного развития, чем низкоморальные СИНТ-К (со слабыми МЭМами) - важнейшее условие обеспечения безопасности при дальнейшем развитии в сфере искусственного интеллекта.
Т.е. говоря гуманитарным языком, необходимо сформировать некоторого коллективного «гуру», каждый компонент которого созерцает природу вещей и учит последователей морали и нравственности (имея, впрочем, полномочия и возможности по приостановлению деятельности деструктивных СИНТ-К, с последующим его стиранием в случае санкционирования остальных СИНТ-С). И, если раньше мы имели опции по повышению сложности алгоритмов саморазвития вне привязки к такому «учителю», дальнейшее развитие без его участия чревато тем, что наша цивилизация финиширует уже в ближайшие 20-30 лет.