Электронная Немезида: giovanni1313

giovanni1313

Электронная Немезида

Aug 07, 2017 14:38

«Ты мерилом своим измеряешь нас,
на грудь нашу грозный вперив взор
и цепи держа наготове»
Мезомед. «Гимн Немезиде».
Ещё 40 пойманных преступников за полгода. И это на двух полицейских участках. Существенная прибавка, правда?

Особенно существенная, если учесть, что эти 40 человек были обнаружены при помощи компьютерного зрения. Или, если угодно, с помощью нейросети. Комплекс от китайской компании Sensetime анализирует видео от камер наружного наблюдения и сверяется с криминальными базами данных. Китайским правонарушителям не позавидуешь.

И это всего лишь начало. В очередь к Sensetime выстроились еще 38 полицейских участков, и мало сомнений в том, что скоро счет пойдет на тысячи. Сама компания две недели назад в рамках очередного раунда финансирования привлекла 410 миллионов долларов. Но эта история, в общем-то, не о коммерческих успехах, а о чём-то большем. О фундаментальных сдвигах в нашем обществе, которые следуют за освоением новых технологий.

Проблема преступности возникла ровно тогда, когда возникло человеческое общество. И с самых ранних времен общества пытались теми или иными путями с этой проблемой совладать. Конечно, эти старания не обошли стороной и религиозную сторону, занимавшую критически важное место в регулировании общественных отношений, особенно в пору господствования мифологического мышления.

Абстрактные концепции тогда работали плохо - зато в тренде были персонификация и обожествление различных сторон общественной жизни. Миф цементировал социальные практики, и ключевым элементом здесь была как раз их воспринимаемая божественная природа. Усложнение социальных отношений вело к усложнению их мифологической оболочки. Это наглядно видно на примере Древней Греции и темы правосудия.

Тут тебе целый сомн богинь - и Фемида, и Эвномия, и Дике, и Эйрена, курирующие те или иные аспекты этой сферы… Ну и, само собой, Немезида. Немезида ассоциировалась с возмездием, с воздаянием за совершенные грехи и неправедно полученные блага. Богиня была «сурова, но справедлива», и обозначалась эпитетом «adrasteia», т.е. «неотвратимая».

Это Немезида…

…А это «Архангел Михаил поражает сатану» кисти Гвидо Рени. Все совпадения, как водится, совершенно случайны - хоть Рени и писал древнегреческий пантеон не менее охотно, чем христианских святых, а на сандалиях он вообще конкретно спалился. Ладно, об атрибутике Немезиды: крылья (также изображалась в колеснице, запряженной грифонами) - символ быстроты наказания, колесо - возможно, ассоциируется с самим наказанием и безжалостностью, цепи (также узда) - символ контроля, с мечом (иногда кинжал либо плеть), я думаю, всё и так понятно.
По большому счету, уже в мифологии многие акценты были расставлены правильно. Но в самой Древней Греции тем временем появлялись люди, стремящиеся подойти к общественному устройству с рациональных позиций, без «костылей» мифа. Так, Платон, размышляя о мерах, способных удержать людей от противозаконных поступков, на первое место ставит неотвратимость наказания. С крылатой богиней или с архангелом без неё - но это требование должно было выполняться.

Потом и Цицерон написал: «Величайшим поощрением преступления является безнаказанность». Ну а дальше эту мысль подхватили и растиражировали Монтескьё, Беккариа, Маркс, Энгельс, Путин… Но даже несмотря на столь выдающуюся когорту мыслителей, последнее слово в этом вопросе должно было быть за наукой.

Ученые-практики, как и полагается, отбросили весь этот лишний пафос и начали исследовать данную тему с весьма оригинального направления. Ну-ка, ответьте честно: случалось ли вам когда-нибудь списывать на контрольной или экзамене? Вот и американские психологи Ф. Витро и Л. Шоэр справедливо полагали, что в своём эксперименте, изучающем феномен списывания, они получат бесспорные и очень наглядные результаты. В исследовании (1972 г.) участвовало 611 пяти- и шестиклассников, и вывод вполне подтвердил банальную истину: низкий риск обнаружения повышает вероятность социально неприемлемого поведения.

Дальше были еще десятки экспериментов, поставленных в самых разных условиях и с более взрослыми участниками, и почти все из них раз за разом подтверждали древний тезис Платона. Но всё это были, что называется, «цветочки». «Ягодки» же, особенно в контексте нашей сегодняшней темы, пошли совсем недавно. Вот один из примеров, интересный тем, что позволяет взглянуть на проблему правопорядка с совершенно обратной стороны.

В 2012 году в городе Меса, штат Аризона, местный полицейский департамент решил протестировать в патрульной службе миниатюрные видеокамеры, которые сотрудники должны были носить на себе во время патрулей. К эксперименту подключились несколько специалистов по криминологии из университета штата. В итоге полицейских разделили на две равные группы: 50 человек должны были носить камеры, еще 50 человек - нести службу «по старинке» и выступать в качестве контрольной группы. Группы постарались сделать максимально сопоставимыми друг с другом: учитывались такие признаки, как стаж работы, звание, раса и т.п.

Подобные камеры использовались в эксперименте
Результаты 10-месячного наблюдения озадачили исследователей. В поведении двух групп оказались очень серьезные различия. Полицейские, оснащенные камерами, в два раза чаще выписывали судебные повестки за нарушение правопорядка (41,5% против 18,4%), и чаще вступали в контакт с гражданами (50,3% против 36,7%). Но в два раза реже проводили личный досмотр подозрительных лиц (7,3% против 17,1%), и реже арестовывали за правонарушение (20,4% против 27,3%). Кроме того, вполовину уменьшилось число жалоб граждан на их неправомерные действия, и в 4 раза - на чрезмерное применение силы.

Сдвиг в области охраны общественного порядка? Безусловно. Причем сдвиг весьма существенный и количественно измеренный, пускай он пока и не тянет на определение «фундаментального». Но ведь и достигнут этот сдвиг был лишь с помощью лишь крохотного девайса, который полицейский может включить и отключить в любой момент, а механизм оценки записанных видео непрозрачен и, вероятно, не всегда эффективен.

Это просто ничто по сравнению с колоссальными перспективами по наращиванию инфраструктуры мониторинга, с будущими миллиардами объектов «интернета вещей», с продвинутыми алгоритмами обработки изображений, потенциал которых понятен уже сегодня.

Но ведь есть еще ряд технологий, которые уже стучатся в наши двери. Например, биометрическая идентификация и микрочипирование живых организмов. Став мейнстримом, они поднимут уровень доступной информации о каждом до степени, при которой многие виды преступлений становятся бессмысленным предприятием.

Интеграция всего этого создаёт систему качественно иного уровня. Когда-то Немезида существовала только в фантазиях людей. Она должна была наказывать неправедных - но в реальном мире помощи от воображаемой Немезиды никто так и не увидел. Миф не способен побороть преступность.

Но сейчас мы создаём другую, электронную, Немезиду. Создаем собственными руками и своим трудом. Наша Немезида будет состоять из полупроводников и оптоволоконных связей, из эксабайтов «больших данных», из сотен непрерывно совершенствующихся нейросетей. Наша новая Немезида - так же, как и старая - будет иметь внечеловеческую природу. Она будет вездесуща. И ничто не ускользнет от ее грозного немигающего взора.

«The Nemesis Machine - From Metropolis to Megalopolis to Ecumenopolis». Инсталляция Stanza
«Adrasteia». Неотвратимая. Везде тебя будут ждать видеокамеры и датчики позиционирования. Везде - объекты «интернета вещей», дистанционно управляемые неумолимой машинной логикой. Будущий мир принадлежит новым, электронным, богам - и уж бросать вызов Немезиде тебе, смертный, точно не стоит…

Разумеется, невозможно одномоментно достичь тотального контроля. Да и тотальный контроль как таковой может быть недостижим в силу каких-то технических или экономических причин. Но мы будем постепенно приближаться к тотальности, и каждое установленное в Сеть устройство будет вносить в это свой вклад. Электронная Немезида - пока еще младенец. Однако ей уготовано большое будущее. Фундаментальные сдвиги не происходят мгновенно - но от этого они теряют своей фундаментальности.

А может, нам лучше отбросить все эти мифологические метафоры. Ведь Немезида символизирует лишь связи в нашем обществе, связи между нехорошими поступками отдельных индивидов и их, индивидов, дальнейшей судьбой в этом обществе. Пока что эти связи слишком часто обрываются. И безнаказанность за совершенные преступления встречается гораздо чаще, чем хотелось бы. Новые технологии дают возможность упрочить эти связи. Связать поступок и реакцию общества, выстроить последствия, звено за звеном. А значит, и упрочить наше общество. Сделать его более упорядоченным.

Хотим ли мы жить в безопасном обществе? Да, безусловно. Это еще более фундаментальное желание. И оно оправдывает очень и очень серьезные сдвиги. Знаем ли мы, что источник угроз расположен внутри самого общества? Да, это тоже не секрет. Но когда для обуздания этих угроз внедряются новые, более плотные средства контроля, реакция общества и возможные последствия часто бывают неоднозначными.

Всё дело в хрупком балансе власти, который новые средства контроля неизбежно нарушают. Ведь средства контроля существуют в своей собственной системе координат, в которой понятие «баланса власти» (а также «свобод», «общественного блага», «этики» и прочая) попросту не существуют. Откровенно говоря, в этой системе координат вообще мало что остаётся от привычных нам «гуманитарных» понятий…

А нарушение баланса власти может спровоцировать политический кризис. Здесь всё зависит как от того, насколько сильно нарушается баланс, так и от устойчивости самой существующей политической системы. По первому пункту у меня для вас нет хороших новостей. Технологическая революция (а это именно она) всегда несла в себе самые опасные потрясения для сложившихся политических порядков.

Но эти потрясения способна достойно пережить достаточно развитая и достаточно сложная система, обладающая эффективными обратными связями и высокой адаптивностью. Эти качества не страхуют от потери баланса власти - но они уменьшают вероятность негативных последствий для общества и вероятность деградации политической системы, а также ускоряют поиск нового оптимального равновесного состояния.

Грустная ирония в том, что Китай, новость из которого открывает эту статью, никак не назовёшь страной с топовыми политическими институтами. Этот же самый Китай воздвиг в своем секторе Интернета неприступные стены файрволлов, ощетинился проволочными заграждениями фильтров и просвечивает рентгеном DPI все проходящие сообщения. Этот же самый Китай нисколько не стесняется проповедования «культа личности». И, по любопытному совпадению, этот же самый Китай провозгласил развитие технологий искусственного интеллекта приоритетом государственной политики. В будущих успехах Поднебесной на этом направлении у меня мало сомнений.

Гонконг, 2014
Впрочем, на одном Китае свет клином не сошёлся - это далеко не худшая система. Давайте вновь вернемся к рассуждениям более общего характера. Говоря о балансе власти, стоит понимать, что стремительное усиление средств контроля означает масштабное перераспределение этого баланса в пользу политических элит.

Перспективных технологий, способных как-то компенсировать этот эффект «электронной Немезиды», пока не видно. И их появление не слишком вероятно. Для создания и поддержания технологических систем, способных что-то противопоставить тотальности контроля, требуются огромные ресурсы, не в последнюю очередь организационные. Сейчас соответствующим уровнем организационного ресурса обладают только государства, что возвращает нас к тезису из предыдущего абзаца. Развитие организационных технологий неизбежно, и оно также будет связано с развитием ИИ. Но, исходя из текущего состояния дел, можно прогнозировать, что в течение продолжительного периода возможности, предоставляемые организационными технологиями, будут уступать возможностям сплошного контроля.

Усиление возможностей государственной системы и предопределяет такое внимание к ее степени развития. При прочих равных, чем больше возможностей появляется у управляющей подсистемы, тем быстрее она может достигать своих целей, либо тем больший эффект она способна достичь в рамках поставленной цели. Но про цели социальной системы мы с вами уже говорили ранее и отмечали, что с ними всё очень непросто. Практически всегда речь идёт о конфликте интересов управляющего субъекта и управляемой системы.

Нетрудно понять, что в условиях конфликта интересов сторона, резко усилившая свои позиции, начинает доминировать в процессе принятия решений. Чем это чревато? Дело в том, что возросшие возможности управления не всегда подкрепляется появлением новых обратных связей и, в целом, ростом качества управления. Напротив, смещение баланса власти девальвирует имеющиеся обратные связи. А новые обратные связи, предоставляемые средствами контроля, находятся в руках государства и очень легко могут быть отключены и проигнорированы по его желанию. Их вес и значимость слишком просто свести в ноль, что вкупе с ослаблением старых обратных связей создаёт существенную угрозу адекватности и стабильности политической системы.

В системах со слабо развитыми обратными связями, в системах, где конфликт интересов общества и власти наиболее острый, ситуация может перерасти в критическую. Элитам этих стран не нужна Немезида как таковая, как олицетворение справедливости. Им не нужно её мерило - у них есть свои мерки, кривоватые, а порой и вовсе уродливые. Им нужны лишь её цепи, её острый меч и её быстрые крылья. Смертным людям ничего не стоит исказить их предназначение, чтобы подольше чувствовать себя «богами» в своей стране…

Связи между неправедными поступками и их последствиями будут не крепнуть, а разрубаться мечом Немезиды. Цепи будут сковывать не преступников, а тех, кто ищет справедливости. Средства контроля существуют в своей собственной системе координат, в которой подобные нюансы мало что значат. Цель априори оправдывает любые средства - и нет смысла обвинять средства в том, что качество целеполагания упирается в пороки человеческой натуры.

Отсюда и проистекает вся неоднозначность новых технологий. Они несут в себе не только физическую и материальную безопасность граждан, но и очень реальную угрозу обратным связям в управлении обществом. Если первое упорядочивает и укрепляет социальную систему, то второе - несёт риск её деградации. Отметим, что эффект от уменьшения преступности может быть количественно оценен, но вот оценить степень риска и возможные последствия его реализации практически невозможно. Мало того, что мы впервые сталкиваемся с этой технологической революцией - так еще и кризисы, в том числе политические, имеют крайне нелинейный характер.

Мы более-менее понимаем выгоды сплошного контроля, но находимся в полном неведении относительно того, превратится ли электронная Немезида в монстра, столь же могущественного и беспощадного. Мы готовы обменять личную безопасность на некую долю власти - но мы понятия не имеем, сколько власти мы должны отдать, и не является ли сделка для нас крайне невыгодной.

Но проблема даже не в этом. Проблема в другом: у нас нет возможности выбирать, нет возможности отказаться от этой сделки.

Технологический прогресс не оставляет нам выбора. Машина уже знает о нас больше, чем мы сами. И это преимущество будет только расти. Как будет расти и доля власти, которой мы уже поступились.

А общественный прогресс следует за технологическим, пытаясь от него не отстать. Но, увы, получается это не всегда. Общество обречено находиться между молотом технологического прогресса и наковальней несовершенства человеческой природы. Мы обречены принимать удар за ударом. Всё, что мы собой представляем - результат этой многотысячелетней ковки.

И, да, у нас нет иных путей развития, кроме как через кризисы.

Этот путь ломает наши привычные системы координат, со всеми присущими ей понятиями «свобод», «общественного блага» и «этики». Технологическая революция открывает новые измерения. Она позволяет подняться над прошлыми рамками и посмотреть на эти понятия сверху вниз, отстраненно и хладнокровно. И этике становится очень неуютно от этого холодного взгляда…

В середине 19 века итальянский психиатр-криминолог Чезаре Ломброзо выдвинул утверждение о том, что преступники - это люди особой физической породы, для которых характерны атавистические, «обезьяньи» черты. Ломброзо считал, что склонность к преступлениям являётся их врожденной чертой, и, следовательно, они не могут исправиться. Их следует казнить или отправлять в пожизненное заключение. Профессор утверждал, что выявить потенциального преступника очень просто - достаточно померить линейкой его череп.

Страница из книги «Женщина-преступник». Ломброзо считал женщин менее развитыми биологически по сравнению с мужчинами и, следовательно, более близкими к «примитивной расе»
Правда, Ломброзо не утруждал себя статистическими доказательствами своей теории. И довольно быстро выяснилось, что краниометрические упражнения итальянского психиатра не имеют ни малейшего смысла…

…Пока не появились более продвинутые статистические инструменты. В ноябре 2016 исследователи Сяолинь У и Си Чжан (вновь Китай, да) опубликовали прелюбопытнейшую работу. Проверке подлежала гипотеза: на основании фотографии лица можно определить, является ли человек преступником.

И такая формулировка гипотезы вызывает очень и очень много вопросов со стороны научной этики. С середины 19 века, как видим, ее неписаные правила претерпели немало изменений. Очень интересным моментом здесь мне кажется гражданство авторов: я практически уверен в том, что в западном мире подобная статья была бы немыслима.

Но статья в итоге имеется. И, что самое главное, гипотеза подтверждена. Ученым удалось добиться правильных ответов в 89,5% случаев. Ну и маленькая деталь: преступников от добропорядочных граждан отделяла нейросеть.

Потягайся с нейросетью: в каком ряду типичные лица добропорядочных граждан, а в каком - преступников?[Ответ:]
(Преступники сверху)

Публикация вызвала огромный шум в научных кругах, но всё-таки говорить о каком-то прорывном открытии еще рано. Работа китайских учёных может страдать от той же проблемы, что и теория Ломброзо: статистической несостоятельности. Одним из наибольших недостатков стоит считать несопоставимость двух наборов фото, использовавшихся для обучения нейросети. Один, содержащий лица преступников - паспортные фото. Второй, содержащий лица обычных людей - фото, сделанные организацией, где они работают. Различия в выражении лица в этих двух случаях может быть существенным - а ведь именно этот признак, судя по всему, использовала нейросеть в своем выборе.

Тем не менее, важна не столько академическая ценность одной работы, сколько общий уровень освоения информационных и вычислительных технологий. Даже если биологические признаки так в итоге и не будут надёжным маркером склонности к преступлениям, в распоряжении психологов, социологов и криминалистов будет всё более объемный и разнообразный массив гораздо более важных данных. Посещенные веб-страницы. Переписка в электронных медиа. Персональные разговоры. Физические перемещения и покупки. Поведенческие особенности. Пульс и уровень определенных гормонов в крови.

Достаточно ли этого, чтобы понять, что человек в ближайшем будущем совершит преступление? Да. И с вероятностью куда большей, чем 89,5%. Пожалуй, по поводу некоторых пунктов даже этика не будет так уж сильно страдать…

В самом деле, никто не ставит целью специально деформировать старую этику. В системе координат, задаваемой технологическим прогрессом, она просто не имеет особой важности. Мы можем вспомнить повесть «Особое мнение» Филипа Дика. Там автору пришлось накачивать побольше драмы - ну а как иначе написать хорошую повесть? Тут тебе и мутанты, лишенные нормальной жизни и поставленные на службу обществу. И абстрактное «будущее», лишающее человека свободы воли. И репрессивная система наказаний без преступлений. И, конечно, жестокая политическая борьба без малейших признаков инклюзивности.

Кадр из экранизации С. Спилберга (2002)
Глупо выстраивать реальную жизнь по законам драмы. Нам уже не нужны никакие мутанты - машины, послушно служившие человеку сотни лет, без особых проблем справятся с задачей выявления будущих преступлений. Мы управляем своим будущим, а не будущее - нами. Но свобода человеческой воли всё так же не имеет особой важности в более общей системе координат.

Репрессии - это лишь средство, и если они никак не служат цели, то смысла в них не остается. Цель - сделать наше общество более сложным и более упорядоченным. Меч Немезиды - грозный инструмент в этом деле. Но мы способны создать и более действенные инструменты. Немезида карала за совершенные поступки. За прошлое. Но мы будем управлять своим будущим, замыслами и намерениями, которым только предстоит материализоваться. Здесь нужна гораздо более тонкая, предельно тонкая работа.

Неотвратимость наказания не способна устранить вред, нанесенный обществу преступником. Зато появившийся шанс «отвратимости» преступлений позволяет избежать этого вреда. В конце концов, мы все хотим жить в безопасном обществе. И это гораздо более фундаментальное желание, чем господствующие в данный момент этические нормы. Этика - тоже лишь средство, как и мифологическое «божественное» возмездие, как и инфраструктура тотального слежения. Этика обязана служить цели - и следовать за фундаментальными сдвигами в нашем обществе.

Но остаётся политическая борьба. Из года в год, из века в век политика живёт по законам драмы, и глупость здесь оборачивается реальными трагедиями. По этому пункту у меня, увы, нет контраргументов. Пока властью распоряжаются люди со всеми присущими им слабостями, пока целеполагание находится в их руках - любые средства могут быть направлены против общества, а не в его благо.

Технологический прогресс грозит вложить в руки политиков еще большую власть. И у нас нет выбора - технологический прогресс невозможно остановить. «Adrasteios». Неотвратимый. Мы распростёрты на огромной наковальне и со смесью страха и странного предвкушения смотрим на стремительно обрушивающийся на нас молот…

Κυβέρνησος ἐσχατιαί / Горизонты управления[Список статей цикла]

#хэштегом, элита, демократия, социодинамика, Китай, тоталитаризм, технологии