О проблематике "социального рейтинга"
О проблематике "социального рейтинга"
Цифровизация стремительно меняет нашу жизнь прямо сейчас, в эту самую минуту, проникая буквально во все сферы жизни общества. Просто подумайте, насколько наша повседневная деятельность станет неполноценной (хотя это дискуссионный вопрос), лиши современного человека Интернета, всевозможных гаджетов, электронных госуслуг и аккаунтов в сотнях различных цифровых сервисов (социальные сети, интернет-банкинг, маркетплейсы, подписки на различные мультимедийные сервисы и пр.). Кто-то скажет, что цифровизация - это хорошо, она делает нашу жизнь более легкой и комфортной, высвобождая для человека массу свободного времени. Кто-то, напротив, станет утверждать, что тотальное внедрение «цифры» убивает привычные и традиционные для человека социокультурные связи, что «умные» гаджеты становятся суррогатом живого человеческого общения. И те, и другие по-своему правы, однако ключевым моментом в этой истории является то, что всеми этими высокотехнологичными сервисами мы пользуемся сами - добровольно и без принуждения. Все люди, по крайней мере в теории, по своему желанию и хотению или усилием воли могут ограничить, а то и вовсе исключить из своей каждодневной практики погружение в цифровой мир услуг и развлечений.
Намного сложнее обстоит дело с другой цифровизацией, применение или погружение в которую от нас не зависит, поскольку она влияет на нас без нашего на то согласия и даже без нашего ведома. В данной статье речь пойдет не просто о «Большом брате», следящем и собирающем информацию о каждом человеке через, к примеру, систему городского видеонаблюдения или при использовании привычной для многих электронной системы платежей. Это уже давно свершившийся факт, и разговоры о гипотетической целесообразности такого мониторинга опоздали лет на 10-15. Мы попытаемся проследить путь и осмыслить набирающий популярность (прежде всего, в Китае) феномен «умного Большого брата», существующего в виде комплексной системы «социального рейтинга». Если описать ее двумя словами, то она представляет собой процесс оценки деятельности человека в режиме реального времени на базе технологий искусственного интеллекта (ИИ). Система соцрейтинга собирает, систематизирует и анализирует огромные массивы данных о поведении всех и каждого, принятых решениях и совершенных поступках с целью последующего ранжирования по категориям от «неблагонадежного» до «образцового» гражданина.
Но обо всем по порядку.
Что такое социальный рейтинг?
В классическом научном понимании соцрейтинг имеет мало общего с современными цифровыми технологиями. Изначально это - один из сложных (комплексных) социально-экономических индикаторов, созданных для оценки эффективности деятельности финансовых и кредитных организаций в соответствии с их общественно-социальными целями. Иными словами, соцрейтинг - это некое экспертное мнение о социальных показателях финансового учреждения и вероятности, что такое учреждение отвечает неким общественным целям в соответствии с принятыми социальными ценностями [1]. Характерным воплощением «классического соцрейтига» можно назвать появившиеся в 1990-е гг. системы личного банковского обслуживания, в том числе индивидуальные банковские кредитные рейтинги граждан. Цель их создания заключалась в более осознанном и управляемом кредитовании населения и бизнеса в сельских (удаленных) районах отдельно взятой страны, где частные лица и малые предприятия зачастую не имели документально подтвержденной финансовой истории. Идеологом внедрения кредитного рейтинга в практическую плоскость выступил Всемирный банк, мотивируя это более гибкими возможностями для национальных правительств распоряжаться имеющимися финансовыми инструментами, в том числе в целях недопущения «закредитованности» бизнеса и населения.
Впоследствии - уже в XXI в. - на базе «банковского рейтинга» образовалась целая «система социального рейтинга», главным идеологом которой стала КНР. В китайской интерпретации эта система формируется из трех основных сфер деятельности человека на протяжении всей его жизни:
Отношения с государством - своевременные перечисления налогов и оплата счетов, погашение кредитов, наличие или отсутствие правонарушений и т. д.;
Поведение в обществе - соблюдение, например, правил дорожного движения, норм по рождаемости (количеству детей в семье), честность в профессиональной деятельности, ответственный подход в образовании и т. д.;
Жизнь в цифровом пространстве - поведение человека в виртуальном пространстве, включающее культуру общения с другими пользователями, надежность и качество размещаемой им информации, а также анализ потребительских запросов при использовании цифровых платформ и покупок в интернет-магазинах.
Если отбросить в сторону официальную риторику Компартии и правительства Китая, то местная система присвоения социального рейтинга работает по принципу самого обычного «кнута-пряника», поощряя или наказывая граждан. С технической точки зрения, заданные китайскими программистами алгоритмы ИИ в автоматическом режиме (т. е. без какого-либо влияния со стороны) понижают или повышают социальный рейтинг человека на основе комплекса различных факторов, сопровождающих его жизнь. Согласно последним нововведениям, принятым на законодательном уровне в начале 2021 г., у каждого гражданина КНР есть стартовый рейтинг в 1000 баллов. Если рейтинг больше 1050 баллов, гражданин маркируется индексом «ААА», если рейтинг опускается до 900 баллов, то он уже соответствует категории «В». Рейтинг ниже 849 баллов (категория «С») означает, что гражданин может быть уволен из государственных и муниципальных структур. Рейтинг, не превышающий 599 баллов, определяет гражданина в низшую категорию «D». В числе прочего люди с таким рейтингом не могут претендовать на замещение широкого перечня вакансий, получать кредиты, покупать билеты на некоторые виды транспорта, а также пользоваться многими общественными благами и льготами.
Высокий рейтинг, наоборот, дает возможность пользования всем спектром государственных и общественных услуг в приоритетном порядке: такому человеку открываются возможности упрощенной процедуры оформления документов для поездок за границу, более низкой ставки кредита или ипотеки, лицо получает ощутимые преимущества при трудоустройстве или досрочное повышение по службе, появляются возможности получить скидку на оплату ЖКХ и другие услуги.
К примеру, гражданин может «заработать» дополнительные баллы за волонтерскую деятельность или сдачу крови. Тем не менее, суммарно рейтинг зависит не только от финансовой «надежности» человека или его профессиональной деятельности, но и от многочисленных бытовых факторов, а также мнения общества о человеке.
Таким образом, КНР решила пойти дальше банковско-кредитной системы оценки «экономических возможностей человека», официально распространив в 2014 г. рейтинговую модель на всю систему социально-экономических процессов (активности) населения с целью активного мониторинга китайского общества и дирижирования его развитием согласно концепции «сообщества единой судьбы человечества» [2].
Социальный рейтинг имеет давнюю историю
Следует отметить, что система социального рейтинга - отнюдь не новомодное китайское изобретение последних лет. Предпосылки к ее появлению были заложены в другой системе «социальных индикаторов», сформулированной еще в 1960-х гг. В то время Национальная академия наук США выполняла заказ Национального комитета по аэро- и космической навигации (NASA), который интересовался прогнозированием последствий реализации космической программы для США. В работе группы, возглавляемой социологом Р. Бауэром, выявились серьезные затруднения из-за нехватки определенной социальной информации. В целях восполнения дефицита и последующего осмысления полученных данных в 1966 г. под редакцией Р. Бауэра была издана обширная монография «Социальные индикаторы» (Social Indicators), способствовавшая быстрому распространению увлечения социальными индикаторами во всем мире. Это увлечение получило название «движения за социальные индикаторы».
Стоит отметить, что в последующие годы социальные индикаторы были приняты в качестве аналитического инструмента ведущими международными организациями, такими, как ООН и ОЭСР [3]. Однако в 1980-е гг. финансирование работ по данной проблематике в США сократилось в том числе по причине разочарования политиков, рассчитывавших получить от системы социальных индикаторов более ощутимую отдачу в практической деятельности.
Что касается России, то в конце 1960-х - начале 1970-х гг. социальное планирование распространилось в СССР и охватило все производственные и территориальные уровни: от первичных производственных коллективов до министерств и общенациональных ведомств, от поселков до страны в целом. Социальное планирование в течение нескольких лет стало обязательной процедурой государственной службы. Однако, как и в США, в середине 1980-х гг. это увлечение стало постепенно стихать, а в постсоветской России социальное планирование и вовсе исчезло. Сформировалось стойкое мнение об избыточном значении этой системы для обоснования управленческих решений в сфере регулирования общественных процессов и планирования хозяйственной деятельности. Социальные индикаторы превратились в объект рутинной планово-статистической деятельности во всем цивилизованном мире [4]. К слову, сегодня в российской науке «социальный индикатор» как явление существует в социологии и смежных дисциплинах в виде «показателя, необходимого для диагноза состояния благополучия (благосостояния) или неблагополучия в той или иной части социума и в социуме в целом» [5].
Тем не менее на международном уровне идеология «индикаторов» по-прежнему поддерживается на плаву. Например, международная группа информационных ресурсов Balaton Group периодически обновляет и дополняет свое фундаментальное исследование «Индикаторы и информационные системы для устойчивого развития» (Indicators and Information Systems for Sustainable Development), посвященное практической стороне применения «индикаторов» в госуправлении. В этом документе социальные индикаторы определены как «частичное отражение реальности, основанное на неопределенных и несовершенных моделях… Индикаторы не обязательно должны быть совершенно объективными, и на самом деле лишь немногие из них таковы. Несмотря на трудности и неопределенность, мы не можем управлять без индикаторов». Иными словами, многие международные исследователи осознают несовершенность и высокую погрешность этой системы оценки, но в силу разных причин продолжают активно лоббировать ее применение.
Причина, по которой мы столько времени уделили освещению темы социальных индикаторов, состоит в том, что социальный рейтинг сегодня - это и есть не что иное, как совокупность социальных индикаторов, оценку которым дает некая автоматизированная система. В упрощенном виде весь процесс сводится к следующей схеме: в сложную алгоритмическую систему стекаются массивы информации (как выясняется, далеко не объективной и имеющей высокую погрешность) по всевозможным аспектам жизни человека и общества в целом. Система обрабатывает и анализирует поступившие данные и на основании заранее заданных программистами критериев выдает персональную оценку тому или иному человеку и ставит «диагноз» его взаимоотношениям с социумом. На основе выходных данных, то есть индивидуальной оценки или рейтинга гражданина, государственные учреждения и общественные институты будут формировать модель взаимодействия с ним. Именно здесь, в природе социального рейтинга, кроется ответ на главный вопрос: стоит ли внедрять эту модель контроля и оценки общества или нет?
По нашему мнению, - нет, не стоит. И дело здесь не только в том, что машинная оценка базируется на изначально необъективных данных. Есть куда более опасные вещи, многие из которых пока еще считаются областью научно-фантастической антиутопии и поэтому до конца не осознаются, но очень быстро станут реальностью в случае активного применения соцрейтинга на практике. О них мы поговорим более подробно.
Лоббисты социального рейтинга, преимущественно крупные бизнес-структуры (не только в Китае, но и во многих странах мира), ратуют за его внедрение, поскольку видят в нем «передовой» и «технически совершенный» инструментарий оценки социально-экономических и поведенческих паттернов человека в мире «цифрового капитализма». Таким образом они выводят на первый план ультракапиталистическую идею - рассматривать человека как некий товар с «ценником». Даже если отбросить в сторону этическую сторону вопроса о том, что человек и его жизнь - это не товар и не объект для экспериментов привилегированного сословия над менее оборотистыми сородичами, такой подход крупного капитала является весьма поверхностным и научно не обоснованным. Он не учитывает объективные риски как технологического, так и правочеловеческого свойства при применении соцрейтинга на практике. Попытки навязать некий универсальный шаблон «правильного» потребителя с точки зрения цифрового капитализма XXI века вряд ли способны значительно и надолго увеличить генерацию прибыли, равно как и повысить управляемость общества в целом. Скорее, наоборот. Против соцрейтинга, во-первых, будет сама природа человека, поскольку любая система диктата меньшинства, вне зависимости от имеющихся средств и методов контроля за сегрегацией (рабовладельческий строй в период Античности, колониальные режимы в Новое время или система апартеида в XX веке), на длинной дистанции обречена. Во-вторых, уже выявленные технологические изъяны и несовершенства конструкции «умной оценки общества» в равной степени будут работать против всех членов общества, даже формально привилегированных - и это один из главных рисков, который не учитывают сторонники соцрейтинга. Гарантированного иммунитета от результатов воздействия технологии не будет ни у кого.
Основные проблемы концепции социального рейтинга при применении на практике
1. Непрозрачность правил и алгоритмов, на основе которых система социального рейтинга будет давать оценки поведению человека.
Текущий, прежде всего китайский, опыт внедрения элементов соцрейтинга не дает ответа на вопрос о том, кто имеет или будет иметь право писать и закладывать в интеллектуальную систему правила и критерии оценки действиям человека. Какова степень ответственности таких людей за принятие решений, которые могут иметь судьбоносное значение для десятков миллионов (если говорить о России) сограждан? Согласится ли общество делегировать, условно говоря, системным администраторам право решать, какие критерии будут служить мерилом оценки деятельности человека? Чем их восприятие «правильности» и «неправильности» лучше и объективнее восприятия и мнений других людей и норм законодательства?
Помимо человеческого фактора, остается неясным, как система соцрейтинга, использующая ИИ для обработки огромных массивов данных граждан в масштабах страны или отдельно взятого социума, принимает решения. Китайская модель, например, функционирует по принципу классического «черного ящика». Это означает, что получаемые на выходе результаты не подразумевают объяснения причин и обстоятельств, по которым ИИ-система делает выводы и принимает решения. Людям остается лишь принять как должное тот факт, что «интеллектуальная» машина в режиме реального времени каким-то образом «сортирует» их по группам в зависимости от поведения и совершенных поступков, даже если последние не противоречат закону. Здесь будет уместно вспомнить один из эпизодов во многом пророческого мини-сериала «Черное зеркало» (серия «Под откос», англ. - «Nosedive»), в котором главная героиня в стремлении улучшить свой индивидуальный рейтинг для получения возможности арендовать жилье в престижном районе скатывается на самое дно рейтинга, не совершив при этом ни одного противоправного деяния.
2. Никто не застрахован от социального деранкинга.
Некоторые лоббисты системы социального рейтинга наивно полагают, что следование определенным шаблонам «хорошего гражданина» является гарантией нахождения человека в верхней привилегированной группе. Однако, как и любая другая сложная технология, социальный рейтинг на основе ИИ способен не только отслеживать общий фон вокруг человека на основе определенной системы социальных индикаторов, но и идти дальше - формировать о таком лице «мнение» с учетом мультипликативного эффекта от восприятия поведения человека всем социумом. Например, популярная медийная личность (политик, артист или спортсмен), с одной стороны, имеет больше возможностей для поддержания своего соцрейтинга на высоком уровне за счет кумулятивного эффекта от его положительного имиджа. С другой стороны, при спланированной информационной кампании по его дискредитации или просто при совершении неблаговидного поступка, ставшего достоянием общественности, «интеллектуальная» система социального рейтинга будет учитывать меняющееся в худшую сторону восприятие этого лица в обществе, и такому человеку впоследствии будет сложнее «выправить» свой рейтинг «хорошими поступками». Система будет давать усредненную оценку человеку с учетом «хороших» дел и «плохого» имиджа в медийном пространстве.
3. Система социального рейтинга может иметь большое количество звеньев.
«Сортировка» людей по категориям в зависимости от их текущего социального рейтинга будет иметь далеко идущие последствия во всех сферах жизни. Например, человека с недостаточно высоким рейтингом вряд ли возьмут на престижную или хорошо оплачиваемую работу, даже если он полностью соответствует всем формальным требованиям. Он в итоге и не поймет, в связи с чем и почему ему отказали. Там, где законом человеку гарантируется защита от дискриминации и равное обращение, будет всплывать «цифровой надсмотрщик» со своим «особым» мнением, которое в итоге и станет определяющим (а если не станет, то зачем тогда вообще нужен соцрейтинг?). Фундаментальное право каждого человека - право выбора, включая право свободно и по своей воле распоряжаться данной при рождении жизнью, будет пропорционально ограничиваться занимаемому месту в социальном рейтинге. Неоплаченный вовремя штраф за нарушение ПДД или невыполненная в срок «программа по детям» могут самым неожиданным образом проявиться в будущем и сыграть определяющую роль в судьбе человека при реализации его планов на жизнь.
4. Цифровая дискриминация человека.
Принятие системы социального рейтинга на государственном уровне в Российской Федерации означает появление параллельных с Конституцией и другими нормативно-правовыми актами «цифрового свода закона» и «цифрового процессуального кодекса» (совокупность социальных индикаторов и алгоритмов по сбору, анализу и оценке входящей в систему ИИ информации о человеке). С одной стороны, в Конституции гарантируются равные права и обязанности, а с другой - может возникнуть полноценный механизм дискриминации и ограничения прав человека без совершения им противоправных деяний, являющихся таковыми по действующему законодательству. На прошлогоднем референдуме по поправкам в Конституцию, граждане России, в числе прочего, проголосовали за примат Основного закона над нормами международного права. Как представляется, в случае внедрения соцрейтинга, неизбежное за этим «понижение» Конституции до подчиненного положения к «цифровому своду законов» - это явно не то, за что совсем недавно голосовали россияне.
Существует прямая угроза, что социальный рейтинг превратится в диктатуру определенной системы «цифровых» ценностей, внедренных никому не известными программистами в непонятно по каким критериям работающую автоматизированную систему. Это, к слову, является прямым нарушением седьмой статьи Конституции Российской Федерации, гарантирующей свободное развитие человека.
5. Система социального рейтинга ведет к социальной дестабилизации.
Внедрение даже отдельных элементов соцрейтинга может оказаться весьма криминогенным: кто не захочет за умеренную плату «подкрутить» свой рейтинг и оказаться в итоге в категории уровнем выше? Кроме того, социальный рейтинг - явная провокация общественной напряженности. Он, очевидно, вызовет протестные настроения в обществе, что опять-таки прямо противоречит недавним поправкам в Конституции России, согласно которым государство обязано создавать условия для взаимного доверия между ним и обществом.
В этом контексте остается в подвешенном состоянии вопрос «транзита» человека из одной категории социального рейтинга в другую. Китайский опыт, например, говорит о прямой угрозе легального «закрепощения» человека, то есть пожизненного нахождения внизу рейтинговой пирамиды по причине объективного сужения возможностей для последнего по улучшению своих показателей. Изначально ориентированная на дискриминацию концепция социального рейтинга будет ущемлять в правах лица, которые хоть и не нарушают закон, но не «зарабатывают» в достаточной мере баллы «хорошего гражданина». Как мы уже отмечали, чем ниже в иерархической табели соцрейтинга находится человек, тем у него меньше предусмотренных правилами системы возможностей «зарекомендовать» себя «хорошим» членом общества.
В России, несмотря на отсутствие комплексных исследований по данной проблематике, тем не менее, уже создается юридическая основа для неких критериев оценки людей и общества в целом, схожих по своей природе с социальным рейтингом. Например, в национальной программе «Цифровая экономика Российской Федерации» (направление «Цифровое государственное управление») зафиксировано, что в будущем появятся открытые профили компетенций граждан с «траекториями их развития», а к 2024 г. должна быть создана еще и система идентификации, включающая в себя биометрические данные и цифровые профили граждан. В этом же документе говорится, что запланировано исключение человека из участия в процессе принятия решения при предоставлении госуслуг. Все это косвенно свидетельствует о том, что подготовка основы для возможного внедрения социального рейтинга уже ведется.
Барьер для социального рейтинга в Евросоюзе
На этом фоне примечательно, что риски внедрения социального рейтинга были выявлены и осознаны руководящими структурами Европейского союза уже на ранней стадии. В апреле 2021 г. Еврокомиссия предложила запретить внедрение технологий ИИ (постановление «О европейском подходе к искусственному интеллекту»), которые используются для «массового наблюдения, применяемого в обобщенном виде ко всем физическим лицам без каких-либо различий». Незаконными станут такие методы наблюдения, как «мониторинг и отслеживание физических лиц в цифровой или физической среде, а также автоматическое агрегирование и анализ персональных данных из различных источников».
Евросоюз, в случае утверждения указанной инициативы в Европарламенте и Евросовете, полностью запретит использование ИИ-систем «высокого риска» и ограничит применение других в случае, если они не будут соответствовать новым стандартам. Примечательно, что в категорию «высокого риска» в числе прочего попали технологии ИИ в роботизированной хирургии, ИИ в программном обеспечении для найма сотрудников, ИИ для проверки документов и верификации доказательств (в судопроизводстве), а также ИИ для оценки кредитного рейтинга граждан - первичного элемента всей системы социального рейтинга. Более того, в пояснении к документу Еврокомиссии отмечается, что сама суть соцрейтинга и использование ИИ в «приложениях, которые манипулируют поведением человека, чтобы обойти его волю», являются неприемлемыми. Представители бизнеса, которые проигнорируют новые правила, могут быть оштрафованы на сумму до 20 млн евро или на 4% от годового оборота.
Что дальше?
Неоднозначный, а, по нашему мнению, чрезвычайно опасный, пример Китая иллюстрирует необходимость самым решительным образом противодействовать возможному внедрению рейтинговых систем на территории Российской Федерации. В этом смысле подход Евросоюза может быть взят за основу. В целях объективной оценки феномена соцрейтинга и формирования комплекса мер по защите конституционных прав российских граждан в эпоху «цифрового капитализма» полагаем, что настало время инициировать полноценные научные исследования по данной теме. Полученные результаты должны быть вынесены на широкое публичное обсуждение с участием представителей всех слоев общества (научно-экспертного сообщества, правозащитных организаций, законодателей, деловых кругов, политических партий, гражданского общества и т. д.) По их итогам, вероятно, следует рассмотреть возможность закрепления достигнутых результатов на общероссийском референдуме.
(С) М.Федоров / Ю.Цветков
https://russiancouncil.ru/analytics-and-comments/analytics/iskusstvennyy-intellekt-i-sotsialnyy-reyting-nachalo-epokhi-tsifrovogo-kontsentratsionnogo-lagerya-v/?sphrase_id=82842378 - цинк