Цифровой прокурор и человеческие пороки
В Китае создан искусственный интеллект, выполняющий работу прокурора. Система способна предъявлять обвинение, основываясь на подготовленных людьми материалах дела. ИИ обучен работать с 8 самыми распространенными преступлениями в Шанхае (где тестировался алгоритм), в числе которых мошенничество, причинение телесных повреждений, препятствование работе официальных лиц, кража и «провоцирование ссор и неприятностей» - за которым на практике могут скрываться преследования по политическим мотивам.
Технически «ИИ-прокурор» представляет собой систему по обработке естественного языка, обученную на 17 тыс. делах, рассмотренных в 2015-2020 гг. Разработчик заявляет о 97%-ной точности работы алгоритма. Планируется дальнейшее развитие системы: добавление новых типов преступлений и возможность предъявлять обвинение сразу по нескольким статьям в одном деле.
Как и в случае с другими ИИ-разработками, авторы повторяют расхожую мантру: «наш ИИ помогает снизить нагрузку на прокуроров, позволяя им сфокусироваться на более творческих сложных задачах». При этом ”South China Morning Post” отмечает, что китайские работники юстиции уже пользуются более примитивным программным комплексом «Система 206», который самостоятельно оценивает силу доказательств, условия для ареста и степень общественной опасности подозреваемого.
Однако новая разработка берёт на себя гораздо более серьезные прокурорские обязанности. Поэтому анонимный китайский прокурор, поделившийся своим мнением с изданием, совсем не рад появлению электронного конкурента. И выставляет целый ряд аргументов против этой технологии.
«...Всегда есть шанс ошибки. Кто возьмет на себя ответственность, когда она случится? Прокурор, машина или разработчик алгоритма?»
«...Прямое участие ИИ в принятии решений может затронуть автономию человека-прокурора».
«...Мы не хотим, чтобы компьютерные инженеры вмешивались в юридический процесс».
«...ИИ не может предсказать реакцию публики на дело в условиях меняющейся общественной обстановки».
И, наконец, «...ИИ не может заменить людей при вынесении решений». Очевидно, потому, что он не может заменить их никогда.
Что ж, если китайская прокуратура использует аргументы такой же убедительности и в судебных процессах - удивительно, что преступникам там всё еще умудряются давать сроки. Давайте по порядку.
1. Ответственность
Ответственность - концепция, существующая с древнейших времен. Она призвана правильным образом мотивировать человека. Делаешь работу хорошо - делай дальше, делаешь плохо - и тебя настигнут если не страшные кары, то неприятные лишения.
Вопрос, сформулированный в прокурорской претензии - «кто возьмет на себя ответственность?» - стал актуальным уже не так давно, в эпоху расцвета бюрократий. К которым, кстати, относится и институт прокуратуры. Одной из замечательных черт бюрократий стало искусство жонглировать ответственностью - перебрасывать ее с одного департамента на другой, сбрасывать ниже, «переводить стрелки» и, в особо героических случаях, всё-таки брать на себя. Другими словами, бюрократии основательно размыли понятие ответственности.
При этом оказалась размытой и причинно-следственная связь между плохой работой и наступлением ответственности. Однако угроза кары и лишений никуда не делась. При бюрократических порядках она стала служить целям бюрократий: формированию корпоративной лояльности и подчинению старшим по рангу.
Таким образом, вопрос «кто понесет ответственность» стал в первую очередь вопросом власти и конкурентных отношений внутри бюрократии - и потерял влияние на внешний результат, ту самую «плохую работу». Именно с позиций внутренних отношений и стоит интерпретировать беспокойство прокурора. Его интересует не внешний результат его работы (количество юридических ошибок) - но то, как инновация повлияет на схемы функционирования ведомства, как она пошатнет сложившийся внутри бюрократии баланс.
И вот этой парадигме «ведомственных боданий» алгоритмы пытаются противопоставить другой подход: нацеленный не на процесс (распределения ответственности), а на результат: качество работы института. Проектный, инженерный подход. Как и полагается инженерному подходу, он основан на количественных характеристиках. В первую очередь, точности юридической трактовки рассматриваемых дел.
Как и полагается в инженерном подходе, система проходит обязательное тестирование перед развертыванием и итеративно улучшается с течением времени. Всё это делается для минимизации ошибок. То есть той самой «плохой работы», для устранения которой давным-давно и была придумана концепция ответственности. Характерный момент: в списке прокурорских претензий отсутствует даже намек на то, чтобы сравнивать качество работы ИИ и людей-прокуроров. Видимо, нынешнюю систему точность волнует в последнюю очередь.
Добавим, что в старой системе наступившая ответственность касалась только одного дела или одного человека-исполнителя, каждый раз давая «точечный» эффект. Так что даже если выявлялась ошибка, ответственность никак не гарантировала, что событие не повторится вновь. Напротив, для алгоритмов найденная и устраненная ошибка означает, что система больше не будет наступать на одни и те же грабли. А массовый характер использования алгоритма позволяет моментально улучшить качество принимаемых решений во всей судебной системе страны. Это преимущество алгоритмов в масштабировании улучшений делает их принципиально более эффективным инструментом по сравнению с какой бы то ни было схемой человеческой ответственности.
2. Автономия
Здесь всё довольно просто. Право с очень большим подозрением смотрит на проявление автономии в уголовном процессе. В абсолютном большинстве случаев автономия здесь становится синонимом произвола и нарушений. Поэтому там, где свобода действительно необходима, право предельно четко определяет дозволенные границы, оставляя минимально необходимое пространство для выбора.
Хорошая правовая система самодостаточна и не требует каких-то особых качеств от участников процесса. Легальный процесс должен руководствоваться правом, а не автономными решениями. Автономия мало что привносит сюда, помимо «человеческого фактора» - а право стремится беспощадно бороться с «человеческим фактором».
Поэтому беспокойство прокурора за автономию смотрится, мягко говоря, двусмысленно. Хотя мы всё понимаем: автономия даёт власть, а вот право эту власть чётко ограничивает. Хорошо видно, какую сторону здесь занимает процитированный работник юстиции.
Право - это самая алгоритмизированная сфера общественных отношений. Нюанс в том, что алгоритмы здесь написаны естественным языком, людьми и для людей. Поэтому для искусственного интеллекта овладение этой областью является нетривиальной задачей. Тем не менее, основополагающие принципы правовой системы хорошо сочетаются с сильными сторонами цифровых алгоритмов. И автономия здесь точно не представляет значительной проблемы.
3. Вмешательство инженеров
Попытка оградить свою феодальную вотчину от посягательств «чужаков» - будь то компьютерные инженеры, общественные активисты или университетские профессора - красноречивее всего показывает, что для нынешней системы внутрибюрократические процессы гораздо важнее, чем качество выполняемой для общества работы.
А с точки зрения этих процессов единственное желание - сохранение статуса-кво, нежелание меняться, в том числе и к лучшему. Если бы целью прокуратуры было улучшение качества работы - она сама искала бы любую помощь и сторонний взгляд на свою работу (да, дивёрсити реально работает).
Недовольство прокуроров внешним вмешательством особенно напрягает, если мы учтём, что в Китае, как и в РФ, на эту позицию люди назначаются, а не выбираются населением. В Китае этот процесс плотно контролирует политическая власть. Проблема в том, что, по сути, монополией на вмешательство в работу китайской прокуратуры имеет Коммунистическая Партия. И, в отличие от ИИ-инициатив, такое вмешательство наряду с закрытостью от остальных может породить исключительно злоупотребления.
4. Реакция публики
И еще одна странная экстралегальная идея. Я, конечно, не специалист по китайскому праву - но я сильно сомневаюсь, чтобы местный уголовно-процессуальный кодекс ставил судебный процесс в зависимость от мнения публики. Легальный процесс, управляемый общественным мнением - нонсенс, перечеркивающий основополагающие принципы права.
Но если мы опять примем во внимание политические реалии КНР, беспокойство прокурора становится понятным. Только надо «креативно» расшифровать его завуалированный месседж. Вспомнить, что с общественными настроениями там не очень считаются - зато чутко прислушиваются к каждому слову из уст Генерального Секретаря.
Вместо «меняющейся общественной обстановки» мы подставляем «колебания линии Партии». Вместо «реакции публики» - «партийную позицию». А вместо «непредсказуемости» - необходимость натягивать нормы права на глобус директив от вышестоящего руководства. Порой совершенно противоречивых.
И тогда в претензии появляется определенная логика. Насколько эта логика сочетается с защитой закона (за что товарищ прокурор, теоретически, и получает зарплату с прочими привилегиями)? Боюсь, честный ответ на этот вопрос для товарища прокурора является очень неудобным…
Всё хорошо?
Итак, с теоретических позиций прокурорские аргументы выглядят несостоятельными. И, по большей части, продиктованными бюрократическими интересами. Но это не значит, что разработанная ИИ-система свободна от недостатков. Особенно если мы сместим фокус с личных прокурорских тревог на практические аспекты реализации алгоритма.
Самое важное «известное неизвестное» - как точность работы ИИ выглядит на фоне точности прокуроров-людей. Вернее, с точностью ИИ всё вполне ясно - а вот традиционная система не утруждает себя анализом результатов. Если ИИ - это «черный ящик», то работа прокуроров - это «черный ящик в тёмной комнате», который еще надо потрудиться отыскать. Вот где ориентированность на процесс, а не на результат проявляет себя во всей красе.
Пока мы не можем сопоставить качество работы двух систем - у нас не будет главного критерия, который позволит обосновать внедрение ИИ в эту сферу. И действующая система не горит желанием объективно оценивать качество своей работы. Этот фундаментальный провал, к сожалению, невозможно преодолеть одним только совершенствованием алгоритмов.
Еще один критический недостаток таких систем, связанный с современными технологиями машинного обучения - зависимость от большого количества прошлых примеров. Изменение правовых норм мгновенно делает систему устаревшей: она в состоянии работать только так, как было показано в тысячах предыдущих примеров.
Необходимо накопить тысячи дел - рассмотренных людьми - по новому образцу, чтобы алгоритм смог научиться работать по актуальному законодательству. И так - с каждой поправкой.
Это выглядит не такой большой помехой в консервативных областях права, к которым относятся уголовное и уголовно-процессуальное. Но если мы берем на вооружение методы социальной инженерии ( а рано или поздно это произойдет), даже в этих консервативных областях темп нововведений может сильно вырасти. Потенциально такое противоречие ставит под вопрос саму модель внедрения алгоритмов в судебную систему. И разрешить это противоречие смогут только новые, прорывные подходы в технологиях ИИ.
Наконец, отсутствие автономии и «человеческого фактора» у алгоритмов не означает, что разрабатываемая система абсолютно свободна от пристрастий. Система способна отфильтровать индивидуальные пристрастия. Но она с идеальной точностью воспроизводит системные предубеждения. Обучение на массиве прошлых, рассмотренных человеческой судебной системой дел ни к чему другому привести не может.
Cистемные предубеждения - самая сложная проблема для бюрократий. Организация не видит их и, как правило, не в состоянии справиться с ними самостоятельно. Но и для нынешних машинно обученных алгоритмов системные предубеждения остаются сложным вызовом. Поскольку алгоритмы являются «черными ящиками», устранение этой проблемы требует применения косвенных методов, неточных, часто весьма трудоёмких и не слишком надежных.
И всё же, чем меньше предубеждений - тем лучше. Поэтому система, в которой отсутствуют индивидуальные пристрастия, априори будет лучше, чем система, в которой они есть.
Поэтому перспективы у таких технологий, безусловно, есть. Да, в наших рассуждениях мы порой забегали очень далеко вперед - сейчас разработка представляет собой лишь вспомогательный инструмент в работе человека-прокурора, этакий помощник в бумажно-канцелярских процедурах. Но это первые шаги по довольно длинной дороге.
Лишить привилегий
Будет ли разработка широко внедряться в китайских органах прокуратуры - пока неизвестно. Однако страна чётко поставила развитие технологий ИИ в качестве высшего приоритета. И политическая система Китая может получить очень важное преимущество от внедрения алгоритмов в общественные процессы. Суть этого преимущества касается обратных связей в обществе.
Обратные связи опасны для авторитарных правительств, поскольку они ослабляют абсолютную власть элит и даже грозят сбросить их с верховных позиций. И разрабатываемые алгоритмы упраздняют обратной связи. Сейчас обратная связь остаётся привилегией людей, занимающих бюрократические позиции. Элементом пресловутой автономии. Позволяющим реагировать не так, как указано в должностных инструкциях, указаниях начальства и усредненных десятках тысяч примеров для обучения.
...32 года назад неподалеку от площади Тяньаньмэнь одинокий мужчина c авоськами в руках встал на пути танковой колонны. Механик-водитель в голове колонны воспользовался своей автономией и остановил машину. Досадный для китайских властей инцидент, который - как и попытку сотен тысяч людей организовать обратную связь к правительству - Китай стремится всеми силами стереть со страниц истории.
Что было бы, если бы танком управлял алгоритм? У него нет автономии, у него есть боевая задача. И обратную связь он использует ровно в той степени, в которой она способствует выполнению этой задачи.
Вероятно, нам еще далеко до роботизированных танков. Как далеко и до ИИ, полностью заменяющих собой прокуроров. Но наивное отрицание - «ИИ не может заменить людей» - не остановит прогресс в этой области. ИИ сможет. Рано или поздно.
Однако жажда власти - патологическая, ненасытная, не останавливающаяся перед человеческой кровью и страданиями - она очень рядом. Прямо здесь и сейчас. И как восхитительно ни выглядел бы технический прогресс, она всегда будет бросать на него свою зловещую тень.
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!
Технически «ИИ-прокурор» представляет собой систему по обработке естественного языка, обученную на 17 тыс. делах, рассмотренных в 2015-2020 гг. Разработчик заявляет о 97%-ной точности работы алгоритма. Планируется дальнейшее развитие системы: добавление новых типов преступлений и возможность предъявлять обвинение сразу по нескольким статьям в одном деле.
Как и в случае с другими ИИ-разработками, авторы повторяют расхожую мантру: «наш ИИ помогает снизить нагрузку на прокуроров, позволяя им сфокусироваться на более творческих сложных задачах». При этом ”South China Morning Post” отмечает, что китайские работники юстиции уже пользуются более примитивным программным комплексом «Система 206», который самостоятельно оценивает силу доказательств, условия для ареста и степень общественной опасности подозреваемого.
Однако новая разработка берёт на себя гораздо более серьезные прокурорские обязанности. Поэтому анонимный китайский прокурор, поделившийся своим мнением с изданием, совсем не рад появлению электронного конкурента. И выставляет целый ряд аргументов против этой технологии.
«...Всегда есть шанс ошибки. Кто возьмет на себя ответственность, когда она случится? Прокурор, машина или разработчик алгоритма?»
«...Прямое участие ИИ в принятии решений может затронуть автономию человека-прокурора».
«...Мы не хотим, чтобы компьютерные инженеры вмешивались в юридический процесс».
«...ИИ не может предсказать реакцию публики на дело в условиях меняющейся общественной обстановки».
И, наконец, «...ИИ не может заменить людей при вынесении решений». Очевидно, потому, что он не может заменить их никогда.
Что ж, если китайская прокуратура использует аргументы такой же убедительности и в судебных процессах - удивительно, что преступникам там всё еще умудряются давать сроки. Давайте по порядку.
1. Ответственность
Ответственность - концепция, существующая с древнейших времен. Она призвана правильным образом мотивировать человека. Делаешь работу хорошо - делай дальше, делаешь плохо - и тебя настигнут если не страшные кары, то неприятные лишения.
Вопрос, сформулированный в прокурорской претензии - «кто возьмет на себя ответственность?» - стал актуальным уже не так давно, в эпоху расцвета бюрократий. К которым, кстати, относится и институт прокуратуры. Одной из замечательных черт бюрократий стало искусство жонглировать ответственностью - перебрасывать ее с одного департамента на другой, сбрасывать ниже, «переводить стрелки» и, в особо героических случаях, всё-таки брать на себя. Другими словами, бюрократии основательно размыли понятие ответственности.
При этом оказалась размытой и причинно-следственная связь между плохой работой и наступлением ответственности. Однако угроза кары и лишений никуда не делась. При бюрократических порядках она стала служить целям бюрократий: формированию корпоративной лояльности и подчинению старшим по рангу.
Таким образом, вопрос «кто понесет ответственность» стал в первую очередь вопросом власти и конкурентных отношений внутри бюрократии - и потерял влияние на внешний результат, ту самую «плохую работу». Именно с позиций внутренних отношений и стоит интерпретировать беспокойство прокурора. Его интересует не внешний результат его работы (количество юридических ошибок) - но то, как инновация повлияет на схемы функционирования ведомства, как она пошатнет сложившийся внутри бюрократии баланс.
И вот этой парадигме «ведомственных боданий» алгоритмы пытаются противопоставить другой подход: нацеленный не на процесс (распределения ответственности), а на результат: качество работы института. Проектный, инженерный подход. Как и полагается инженерному подходу, он основан на количественных характеристиках. В первую очередь, точности юридической трактовки рассматриваемых дел.
Как и полагается в инженерном подходе, система проходит обязательное тестирование перед развертыванием и итеративно улучшается с течением времени. Всё это делается для минимизации ошибок. То есть той самой «плохой работы», для устранения которой давным-давно и была придумана концепция ответственности. Характерный момент: в списке прокурорских претензий отсутствует даже намек на то, чтобы сравнивать качество работы ИИ и людей-прокуроров. Видимо, нынешнюю систему точность волнует в последнюю очередь.
Добавим, что в старой системе наступившая ответственность касалась только одного дела или одного человека-исполнителя, каждый раз давая «точечный» эффект. Так что даже если выявлялась ошибка, ответственность никак не гарантировала, что событие не повторится вновь. Напротив, для алгоритмов найденная и устраненная ошибка означает, что система больше не будет наступать на одни и те же грабли. А массовый характер использования алгоритма позволяет моментально улучшить качество принимаемых решений во всей судебной системе страны. Это преимущество алгоритмов в масштабировании улучшений делает их принципиально более эффективным инструментом по сравнению с какой бы то ни было схемой человеческой ответственности.
2. Автономия
Здесь всё довольно просто. Право с очень большим подозрением смотрит на проявление автономии в уголовном процессе. В абсолютном большинстве случаев автономия здесь становится синонимом произвола и нарушений. Поэтому там, где свобода действительно необходима, право предельно четко определяет дозволенные границы, оставляя минимально необходимое пространство для выбора.
Хорошая правовая система самодостаточна и не требует каких-то особых качеств от участников процесса. Легальный процесс должен руководствоваться правом, а не автономными решениями. Автономия мало что привносит сюда, помимо «человеческого фактора» - а право стремится беспощадно бороться с «человеческим фактором».
Поэтому беспокойство прокурора за автономию смотрится, мягко говоря, двусмысленно. Хотя мы всё понимаем: автономия даёт власть, а вот право эту власть чётко ограничивает. Хорошо видно, какую сторону здесь занимает процитированный работник юстиции.
Право - это самая алгоритмизированная сфера общественных отношений. Нюанс в том, что алгоритмы здесь написаны естественным языком, людьми и для людей. Поэтому для искусственного интеллекта овладение этой областью является нетривиальной задачей. Тем не менее, основополагающие принципы правовой системы хорошо сочетаются с сильными сторонами цифровых алгоритмов. И автономия здесь точно не представляет значительной проблемы.
3. Вмешательство инженеров
Попытка оградить свою феодальную вотчину от посягательств «чужаков» - будь то компьютерные инженеры, общественные активисты или университетские профессора - красноречивее всего показывает, что для нынешней системы внутрибюрократические процессы гораздо важнее, чем качество выполняемой для общества работы.
А с точки зрения этих процессов единственное желание - сохранение статуса-кво, нежелание меняться, в том числе и к лучшему. Если бы целью прокуратуры было улучшение качества работы - она сама искала бы любую помощь и сторонний взгляд на свою работу (да, дивёрсити реально работает).
Недовольство прокуроров внешним вмешательством особенно напрягает, если мы учтём, что в Китае, как и в РФ, на эту позицию люди назначаются, а не выбираются населением. В Китае этот процесс плотно контролирует политическая власть. Проблема в том, что, по сути, монополией на вмешательство в работу китайской прокуратуры имеет Коммунистическая Партия. И, в отличие от ИИ-инициатив, такое вмешательство наряду с закрытостью от остальных может породить исключительно злоупотребления.
4. Реакция публики
И еще одна странная экстралегальная идея. Я, конечно, не специалист по китайскому праву - но я сильно сомневаюсь, чтобы местный уголовно-процессуальный кодекс ставил судебный процесс в зависимость от мнения публики. Легальный процесс, управляемый общественным мнением - нонсенс, перечеркивающий основополагающие принципы права.
Но если мы опять примем во внимание политические реалии КНР, беспокойство прокурора становится понятным. Только надо «креативно» расшифровать его завуалированный месседж. Вспомнить, что с общественными настроениями там не очень считаются - зато чутко прислушиваются к каждому слову из уст Генерального Секретаря.
Вместо «меняющейся общественной обстановки» мы подставляем «колебания линии Партии». Вместо «реакции публики» - «партийную позицию». А вместо «непредсказуемости» - необходимость натягивать нормы права на глобус директив от вышестоящего руководства. Порой совершенно противоречивых.
И тогда в претензии появляется определенная логика. Насколько эта логика сочетается с защитой закона (за что товарищ прокурор, теоретически, и получает зарплату с прочими привилегиями)? Боюсь, честный ответ на этот вопрос для товарища прокурора является очень неудобным…
Всё хорошо?
Итак, с теоретических позиций прокурорские аргументы выглядят несостоятельными. И, по большей части, продиктованными бюрократическими интересами. Но это не значит, что разработанная ИИ-система свободна от недостатков. Особенно если мы сместим фокус с личных прокурорских тревог на практические аспекты реализации алгоритма.
Самое важное «известное неизвестное» - как точность работы ИИ выглядит на фоне точности прокуроров-людей. Вернее, с точностью ИИ всё вполне ясно - а вот традиционная система не утруждает себя анализом результатов. Если ИИ - это «черный ящик», то работа прокуроров - это «черный ящик в тёмной комнате», который еще надо потрудиться отыскать. Вот где ориентированность на процесс, а не на результат проявляет себя во всей красе.
Пока мы не можем сопоставить качество работы двух систем - у нас не будет главного критерия, который позволит обосновать внедрение ИИ в эту сферу. И действующая система не горит желанием объективно оценивать качество своей работы. Этот фундаментальный провал, к сожалению, невозможно преодолеть одним только совершенствованием алгоритмов.
Еще один критический недостаток таких систем, связанный с современными технологиями машинного обучения - зависимость от большого количества прошлых примеров. Изменение правовых норм мгновенно делает систему устаревшей: она в состоянии работать только так, как было показано в тысячах предыдущих примеров.
Необходимо накопить тысячи дел - рассмотренных людьми - по новому образцу, чтобы алгоритм смог научиться работать по актуальному законодательству. И так - с каждой поправкой.
Это выглядит не такой большой помехой в консервативных областях права, к которым относятся уголовное и уголовно-процессуальное. Но если мы берем на вооружение методы социальной инженерии ( а рано или поздно это произойдет), даже в этих консервативных областях темп нововведений может сильно вырасти. Потенциально такое противоречие ставит под вопрос саму модель внедрения алгоритмов в судебную систему. И разрешить это противоречие смогут только новые, прорывные подходы в технологиях ИИ.
Наконец, отсутствие автономии и «человеческого фактора» у алгоритмов не означает, что разрабатываемая система абсолютно свободна от пристрастий. Система способна отфильтровать индивидуальные пристрастия. Но она с идеальной точностью воспроизводит системные предубеждения. Обучение на массиве прошлых, рассмотренных человеческой судебной системой дел ни к чему другому привести не может.
Cистемные предубеждения - самая сложная проблема для бюрократий. Организация не видит их и, как правило, не в состоянии справиться с ними самостоятельно. Но и для нынешних машинно обученных алгоритмов системные предубеждения остаются сложным вызовом. Поскольку алгоритмы являются «черными ящиками», устранение этой проблемы требует применения косвенных методов, неточных, часто весьма трудоёмких и не слишком надежных.
И всё же, чем меньше предубеждений - тем лучше. Поэтому система, в которой отсутствуют индивидуальные пристрастия, априори будет лучше, чем система, в которой они есть.
Поэтому перспективы у таких технологий, безусловно, есть. Да, в наших рассуждениях мы порой забегали очень далеко вперед - сейчас разработка представляет собой лишь вспомогательный инструмент в работе человека-прокурора, этакий помощник в бумажно-канцелярских процедурах. Но это первые шаги по довольно длинной дороге.
Лишить привилегий
Будет ли разработка широко внедряться в китайских органах прокуратуры - пока неизвестно. Однако страна чётко поставила развитие технологий ИИ в качестве высшего приоритета. И политическая система Китая может получить очень важное преимущество от внедрения алгоритмов в общественные процессы. Суть этого преимущества касается обратных связей в обществе.
Обратные связи опасны для авторитарных правительств, поскольку они ослабляют абсолютную власть элит и даже грозят сбросить их с верховных позиций. И разрабатываемые алгоритмы упраздняют обратной связи. Сейчас обратная связь остаётся привилегией людей, занимающих бюрократические позиции. Элементом пресловутой автономии. Позволяющим реагировать не так, как указано в должностных инструкциях, указаниях начальства и усредненных десятках тысяч примеров для обучения.
...32 года назад неподалеку от площади Тяньаньмэнь одинокий мужчина c авоськами в руках встал на пути танковой колонны. Механик-водитель в голове колонны воспользовался своей автономией и остановил машину. Досадный для китайских властей инцидент, который - как и попытку сотен тысяч людей организовать обратную связь к правительству - Китай стремится всеми силами стереть со страниц истории.
Что было бы, если бы танком управлял алгоритм? У него нет автономии, у него есть боевая задача. И обратную связь он использует ровно в той степени, в которой она способствует выполнению этой задачи.
Вероятно, нам еще далеко до роботизированных танков. Как далеко и до ИИ, полностью заменяющих собой прокуроров. Но наивное отрицание - «ИИ не может заменить людей» - не остановит прогресс в этой области. ИИ сможет. Рано или поздно.
Однако жажда власти - патологическая, ненасытная, не останавливающаяся перед человеческой кровью и страданиями - она очень рядом. Прямо здесь и сейчас. И как восхитительно ни выглядел бы технический прогресс, она всегда будет бросать на него свою зловещую тень.
_______________________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!