Запрет на особое мнение
Целая драма разыгралась вокруг спорного исследования, которое собирались опубликовать в одном из научных изданий. Исследование и вправду было сенсационным: ученые заявили, что им удалось создать алгоритм, который по фотографии лица предсказывает, совершит ли человек преступление. Заявленная точность - 80%. Создатели ожидали, что алгоритм поможет полиции предотвращать преступления.
Тут, конечно, вспоминается повесть «Особое мнение» Филипа Дика и все происходившие там этические коллизии. Но в нашем, реальном, мире до практического внедрения таких систем еще далеко. Не в последнюю очередь потому, что технологии никуда не годятся, несмотря на надувание щёк в пресс-релизах.
Работа подобной тематики - далеко не первая, достаточно вспомнить Чезаре Ломброзо, пытавшегося натянуть сову на глобус аж в середине 19 века. Спустя полтораста лет у исследователей появились в распоряжении самые продвинутые инструменты, включая машинное обучение. Но результат по прежнему не выдерживает даже минимальной критики.
Любопытно, что в нынешнем случае за научный результат никто не предъявлял. А вот за этические коллизии вступились: группа ученых-активистов, называющая себя «Coalition for Critical Technology». Группа написала гневное открытое письмо, полное очень умных терминов, под которым подписалось более 2300 профильных специалистов. Письмо наделало немало шума в прессе.
Самые главные тезисы письма звучат следующим образом:
1. Любой алгоритм, основанный на существующих правоприменительных практиках, будет отражать предубеждения и неточности, присущие этим практикам.
2. Любой алгоритм, предсказывающий преступления на основе этих практик, обосновывает изоляцию и притеснение маргинализованных групп населения.
3. Не существует причинно-следственной связи между чертами лица и совершением преступления; черты лица не «заставляют» человека совершить преступление.
4. Разработчики алгоритмов не умеют в антропологию, социологию, теорию коммуникаций и тому подобную «гуманитарщину».
5. В машинном обучении нет места рефлексии.
6. Системы машинного обучения показали, что усиление существующих форм дискриминации являются их структурным свойством.
Если вы подумали, что разбор работы, ставшей поводом для письма, остался среди второстепенных тезисов, то вы ошибаетесь. Этого разбора там нет вовсе. Даже намека на разбор, даже упоминания конкретных положений из работы. Я практически уверен, что авторы письма даже не читали препринта: присутствие в критике аргументации по сути статьи однозначно добавило бы письму вес. Но такой аргументации нет.
Всё это низводит письмо до категории «не читал, но осуждаю». Идеологизация литературы - это плохо, но идеологизация науки - первым звоночком которой является такая деградация научной полемики - в конечном итоге саму науку попросту убивает. Какими бы благими намерениями она не руководствовалась.
Почему речь зашла об идеологизации науки? Для этого стоит обратить внимание на действия, к которым призывает «Coalition for Critical Technology». Им и не нужен был разбор спорной работы: тогда было бы логично ограничиться призывом к ее более тщательному рецензированию либо недопущению к публикации.
Но активисты хотят большего. Они хотят исключить все исследования по прогнозированию преступлений, использующие данные правоприменительной статистики. Объявить эту область исследований порочной и вредной.
Разумеется, они не первые. Подобных, уже действующих, запретов, обоснованных этикой либо креативными её интерпретациями, в разных областях науки существует немало. Но в данном случае предложение и аргументация активистов вызывают полное недоумение.
Да, они хорошо «попали» в актуальную сейчас повестку: после убийства Джорджа Флойда радикальные, порой даже гротескные идеи по реформированию органов правопорядка получают широкий общественный резонанс. Но это совсем не значит, что запреты в науке в духе Трофима Лысенко станут лучшим решением проблем, которые волнуют общество. Скорее наоборот.
Начнем с того, что саму проблему «Coalition for Critical Technology» формулирует более чем чётко. Эта проблема - несправедливость и предрассудки правоохранительной и судебной систем США в отношении некоторых расовых и национальных групп. Эта несправедливость - корень зла, фундамент, на котором группа строит все свои доказательные тезисы.
И тем не менее, ни единого предложения менять систему, искоренять противоречивые практики, внедрять механизмы исправления сложившихся предубеждений и использовать потенциал новых технологий для борьбы с расизмом мы в письме не видим. Ни одного! Группа предлагает нам бороться со следствием, а не с причиной. Даже не со следствием, а с попытками хоть как-то проактивно на причину повлиять.
Хорошо, давайте примем их предложение. Мы запретили исследования по предиктивному анализу преступников. Правоприменительная система от этого как-то изменится? Станет лучше? Нет. Система так же продолжит воспроизводить несправедливость и предрассудки. Отсутствие предиктивной аналитики не мешало ей раньше, почему что-то должно поменяться сейчас? Тогда что нам даёт запрет на исследования?
По сути, такое предложение беспомощно повлиять на ситуацию. И тогда фокус на машинном обучении и критика его подходов смещает акцент совсем не туда, куда нужно.
«Coalition for Critical Technology» утверждает, что правительство собирается использовать технологии машинного обучения «для деполитизации государственного насилия и укрепления легитимности «тюремного государства»». Если они пытаются выставить государственное насилие в негативном свете, то это рассчитано на читателей, которые сами «не умеют в социологию»: без выполнения этой функции ни государство, ни даже сколь-нибудь развитое общество существовать не могут. Более того, деполитизация насилия означает, что насилие не будет применяться по политическим причинам, что снизит общий уровень насилия и повысит справедливость его применения.
А упоминание «тюремного государства» говорит о том, что авторы не понимают той роли, которую должна играть предиктивная аналитика преступности. Точнее, их понимание искажено с точностью до наоборот. И это хорошо отражается в неуместности предлагаемого ими запрета.
Многие тысячи лет, задолго до появления машинного обучения, государство оставалось «тюремным» - потому что оно не могло, не умело быть другим. Правоохранительная система оставалась без всяких кавычек карательной, и на преступления она могла отвечать только реактивно - то есть когда вред был уже нанесен.
Но с появлением машинного обучения у нас появилась надежда на альтернативу. Надежда очень далёкая - но она может реализоваться только активным и упорным трудом, а не запретами. Предиктивная аналитика преступлений - если нам удастся её реализовать - совершит переворот в правоохранительной системе. Из реактивной она должна стать проактивной, из карательной машины - превратиться в инструмент по предупреждению вреда для общества.
И если авторы письма полагают, что предиктивная аналитика будет работать путём изоляции, притеснения и маргинализации, остаётся только пожалеть их увлечение научной фантастикой и антиутопиями. Мне было бы очень интересно услышать их ответ на вопрос, зачем в радикально новом подходе использовать старые, неработающие и даже контрпродуктивные методы. Многочисленные исследования раз за разом подтверждали, что для предотвращения преступности нужно совсем обратное: инклюзия, социализация и позитивные примеры. Остается только удивляться тому, как активизм «Coalition for Critical Technology» уживается с их чувством полной безысходности в отношении правоохранительной системы.
Вдвойне удивительно такое сочетание потому, что именно будущие технологии способны создать мостик от абстрактной концепции «инклюзии» к конкретным, детально проработанным действиям, поддерживающим каждого индивида, взяв на вооружение гиперперсонализацию и аналитику. Позитивная повестка, которую открывают технологии прогнозирования преступности, имеет колоссальные потенциал и значение. Но - оцените масштаб абсурда - коалиция за критические технологии ратует за запрет критических технологий социального инжиниринга.
Пренебрежение позитивной повесткой приводит к тому, что увлекшиеся критикой авторы начинают делать совсем уж сомнительные заявления. Взять хотя бы их тезис о том, что любое (любое!) предиктивное ПО обосновывает гонения и притеснение. Очень сильное утверждение. С формальной точки зрения, для его опровержения достаточно предъявить хотя бы один алгоритм, который помогал бы притесняемым группам, - и тогда призыв к запрету исследований теряет свою обоснованность.
Гипотетический пример, который обесценивает данный тезис - ПО, которое обучено на данных/применяется для аналитики преступности в группах, которые не являются маргинализованными. Видимо, авторы не в курсе различных техник, применяемых в машинном обучении для устранения возможных предубеждений в данных...
Но черт с ней, казуистикой. Дело тут гораздо серьезнее. А именно, помощь маргинализованным группам является одной из главных мотиваций внедрения машинного обучения в правоохранительную систему. Когда система и ее отдельные исполнители не в состоянии различить нюансы, предпочитая судить людей по цвету их кожи, алгоритм в состоянии мгновенно обработать сотни и тысячи признаков. Если уж совсем прямо, алгоритм - в отличие от полицейского - способен увидеть в негре человека.
Эта способность обрабатывать множество признаков, которые трудно уловить людям, делает неоднозначным заявление об отсутствии причинно-следственной связи между внешностью и вероятностью совершить преступление. Алгоритмы многократно доказали свою способность извлекать совершенно неочевидную, а порой и контринтуитивную информацию. Именно в этом и состоит их главная ценность.
Причинно-следственным «мостиком» здесь теоретически могут быть те или иные гены, которые в совокупности могут влиять одновременно и на внешность, и на девиантное поведение. Вероятность этого не слишком велика (как и точность подобного анализа), но полностью исключить ее можно будет только после интенсивных исследований. А вот запреты, напротив, нисколько не продвинут дело.
Предиктивный анализ преступности может «обосновать» изоляцию и притеснение только в том случае, если изоляция и притеснение действительно будут снижать уровень преступности. Историческая практика показывает, что эти подходы, напротив, ухудшают положение. И вряд ли внедрение предиктивной аналитики хоть сколько-нибудь изменит это.
И коль скоро «Coalition for Critical Technology» не считает нужным исправлять человеческий элемент системы правопорядка, почему нужно запрещать технологический способ коррекции накопившихся проблем? Только потому, что он не идеален? Но это в полной мере относится и к существующим институтам. Более того, активисты даже не утруждают себя упоминанием путей, направленных на устранение недостатков предиктивных алгоритмов (а они, несомненно, есть). Ага, опять безысходность…
Добавим, что, помимо неидеальных алгоритмов, другие пути исправления ситуации выглядят гораздо менее надёжными и результативными. Само собой, поиском альтернатив «Coalition for Critical Technology» себя тоже не утруждает. Очевидно, больше всего их устраивает статус-кво.
Пожалуй, единственным конструктивным предложением авторов является совет разработчикам машинных моделей набираться культурных знаний и учитывать контексты, в которых могут быть использованы результаты их работы. Совет дельный.
Но если исследование учитывает культуру с контекстами и практикует саморефлексию, если оно активно пытается не только избежать вреда, которого так боятся авторы письма, но и сознательно стремится исправить недостатки существующей системы - почему такие исследования объявляются ненужными?
«Эти исследовательские задачи отражают стимулы и перспективы тех, кто находится в привилегированной позиции разработчиков моделей машинного обучения...», - разоблачает письмо «привилегированных» разработчиков. Но эти стимулы и перспективы, как и задачи, могут заключаться в искоренении несправедливости в нынешней системе правопорядка, в исключении предрассудков и уравнивании отношения ко всем, независимо от расы. Перспективы, обогащенные пониманием социального контекста, должны работать на улучшение правоохранительной системы - иначе зачем тогда разработчикам изучать всю эту «гуманитарщину»?
И получается, что авторы сами себе противоречат: нет, усиление дискриминации не является структурным свойством систем машинного обучения. Всё зависит от задач и перспектив. Возможно, «Coalition for Critical Technology» считает, что все разработки в этой области являются инструментами насилия, а все разработчики - не в состоянии изменить систему к лучшему. Но это будет скорее философским, чем научным взглядом на проблему.
Никакими научными доводами нельзя подкрепить утверждение, что прогнозирование преступности «стирает [из памяти] историческое насилие». Напротив, глубокий анализ, необходимый для подобных разработок, позволяет рассмотреть эту тему с максимальной скрупулезностью.
Никакими научными доводами нельзя подкрепить утверждение, что прогнозирование преступности «искусственно создаёт страх». Напротив, только знание может противостоять страху. Более того, предиктивная аналитика - необходимый компонент для перехода от карательной системы правопорядка к предотвращению антиобщественных поступков.
И если «Coalition for Critical Technology» указывает на несостоятельность ранее публиковавшихся работ по этой теме - почему в числе ее «решений проблемы» запрет, а не усиление стандартов рецензирования публикаций? Потому что это добавит веса, «легитимизирует» работы в идеологически неудобной для них области?
Меж тем проблема слабого рецензирования стоит очень остро. Какое там подтягивание по социологии - тут и сами знания в машинном обучении хромают на обе ноги! Для примера можно посмотреть на эту работу, вышедшую в январе и потому нисколько не возбудившую активистов. Исследователи взяли лица преступников из одного датасета, а лица «добропорядочных» - из других! Это при том, что даже в рамках одного датасета однородность данных не гарантирована. И ничего, рецензенты и редколлегия дали «добро»…
Видимо, безысходность «Coalition for Critical Technology» простирается и в отношении научных методов. Конечно, идеологические приёмы работают эффективнее… Ведь призыв к исключению научных исследований в какой-либо области - антинаучен по сути. Даже если исследования не находят никакой связи, даже если слабые работы после публикации опровергаются - отрицательный результат в науке является не менее важным, чем положительный.
А вот в идеологическом поле, напротив, победа кардинально отличается поражения. Что ж, активисты могут праздновать победу. Пресс-релиз о технологии прогнозирования преступности по фото лица удален по просьбе разработчиков системы. Редакция решила не публиковать научную статью. Решила не потому, что рецензенты - или неравнодушные коллеги - нашли в статье серьезные ошибки. А потому, что в прессе поднялась волна из-за письма, авторы которого не жалели терминов вроде «расовые предрассудки» и «тюремное государство».
Да, очень высока вероятность, что обсуждаемая статья была совсем несостоятельна. Да, я не питаю иллюзий насчет того, что внедрение разработанной технологии уменьшило бы несправедливость по отношению к тем или иным группам. Опасения авторов письма могли бы и подтвердиться.
Однако их призыв исключить из научной сферы исследования по прогнозированию преступлений имеет намного более серьезные последствия, чем судьба отдельной статьи или разработки. Особой реакции научных изданий на это требование не последовало. Но скандал вышел громкий, и тысячи подписантов открытого письма - это серьезное обстоятельство. Отныне публикация статьи по данной теме сопряжена с репутационными рисками, совершенно не зависящими от качества работы. А шансы выиграть конкурс на грант сильно снизились по сравнению с более «политкорректными» направлениями.
И выходит, что открытое письмо само искусственно создает страх. Страх заниматься исследованиями в одной из важнейших областей социологии. Важнейших не с точки зрения науки - но с точки зрения самого общества. К защите которого апеллируют активисты.
Это печально. Но это закономерное следствие игнорирования позитивной повестки. Если вместо созидания и желания улучшать систему оставить только обличение и запреты, самой маргинализованной группой становятся несогласные с твоим мнением.
_____________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!
Тут, конечно, вспоминается повесть «Особое мнение» Филипа Дика и все происходившие там этические коллизии. Но в нашем, реальном, мире до практического внедрения таких систем еще далеко. Не в последнюю очередь потому, что технологии никуда не годятся, несмотря на надувание щёк в пресс-релизах.
Работа подобной тематики - далеко не первая, достаточно вспомнить Чезаре Ломброзо, пытавшегося натянуть сову на глобус аж в середине 19 века. Спустя полтораста лет у исследователей появились в распоряжении самые продвинутые инструменты, включая машинное обучение. Но результат по прежнему не выдерживает даже минимальной критики.
Любопытно, что в нынешнем случае за научный результат никто не предъявлял. А вот за этические коллизии вступились: группа ученых-активистов, называющая себя «Coalition for Critical Technology». Группа написала гневное открытое письмо, полное очень умных терминов, под которым подписалось более 2300 профильных специалистов. Письмо наделало немало шума в прессе.
Самые главные тезисы письма звучат следующим образом:
1. Любой алгоритм, основанный на существующих правоприменительных практиках, будет отражать предубеждения и неточности, присущие этим практикам.
2. Любой алгоритм, предсказывающий преступления на основе этих практик, обосновывает изоляцию и притеснение маргинализованных групп населения.
3. Не существует причинно-следственной связи между чертами лица и совершением преступления; черты лица не «заставляют» человека совершить преступление.
4. Разработчики алгоритмов не умеют в антропологию, социологию, теорию коммуникаций и тому подобную «гуманитарщину».
5. В машинном обучении нет места рефлексии.
6. Системы машинного обучения показали, что усиление существующих форм дискриминации являются их структурным свойством.
Если вы подумали, что разбор работы, ставшей поводом для письма, остался среди второстепенных тезисов, то вы ошибаетесь. Этого разбора там нет вовсе. Даже намека на разбор, даже упоминания конкретных положений из работы. Я практически уверен, что авторы письма даже не читали препринта: присутствие в критике аргументации по сути статьи однозначно добавило бы письму вес. Но такой аргументации нет.
Всё это низводит письмо до категории «не читал, но осуждаю». Идеологизация литературы - это плохо, но идеологизация науки - первым звоночком которой является такая деградация научной полемики - в конечном итоге саму науку попросту убивает. Какими бы благими намерениями она не руководствовалась.
Почему речь зашла об идеологизации науки? Для этого стоит обратить внимание на действия, к которым призывает «Coalition for Critical Technology». Им и не нужен был разбор спорной работы: тогда было бы логично ограничиться призывом к ее более тщательному рецензированию либо недопущению к публикации.
Но активисты хотят большего. Они хотят исключить все исследования по прогнозированию преступлений, использующие данные правоприменительной статистики. Объявить эту область исследований порочной и вредной.
Разумеется, они не первые. Подобных, уже действующих, запретов, обоснованных этикой либо креативными её интерпретациями, в разных областях науки существует немало. Но в данном случае предложение и аргументация активистов вызывают полное недоумение.
Да, они хорошо «попали» в актуальную сейчас повестку: после убийства Джорджа Флойда радикальные, порой даже гротескные идеи по реформированию органов правопорядка получают широкий общественный резонанс. Но это совсем не значит, что запреты в науке в духе Трофима Лысенко станут лучшим решением проблем, которые волнуют общество. Скорее наоборот.
Начнем с того, что саму проблему «Coalition for Critical Technology» формулирует более чем чётко. Эта проблема - несправедливость и предрассудки правоохранительной и судебной систем США в отношении некоторых расовых и национальных групп. Эта несправедливость - корень зла, фундамент, на котором группа строит все свои доказательные тезисы.
И тем не менее, ни единого предложения менять систему, искоренять противоречивые практики, внедрять механизмы исправления сложившихся предубеждений и использовать потенциал новых технологий для борьбы с расизмом мы в письме не видим. Ни одного! Группа предлагает нам бороться со следствием, а не с причиной. Даже не со следствием, а с попытками хоть как-то проактивно на причину повлиять.
Хорошо, давайте примем их предложение. Мы запретили исследования по предиктивному анализу преступников. Правоприменительная система от этого как-то изменится? Станет лучше? Нет. Система так же продолжит воспроизводить несправедливость и предрассудки. Отсутствие предиктивной аналитики не мешало ей раньше, почему что-то должно поменяться сейчас? Тогда что нам даёт запрет на исследования?
По сути, такое предложение беспомощно повлиять на ситуацию. И тогда фокус на машинном обучении и критика его подходов смещает акцент совсем не туда, куда нужно.
«Coalition for Critical Technology» утверждает, что правительство собирается использовать технологии машинного обучения «для деполитизации государственного насилия и укрепления легитимности «тюремного государства»». Если они пытаются выставить государственное насилие в негативном свете, то это рассчитано на читателей, которые сами «не умеют в социологию»: без выполнения этой функции ни государство, ни даже сколь-нибудь развитое общество существовать не могут. Более того, деполитизация насилия означает, что насилие не будет применяться по политическим причинам, что снизит общий уровень насилия и повысит справедливость его применения.
А упоминание «тюремного государства» говорит о том, что авторы не понимают той роли, которую должна играть предиктивная аналитика преступности. Точнее, их понимание искажено с точностью до наоборот. И это хорошо отражается в неуместности предлагаемого ими запрета.
Многие тысячи лет, задолго до появления машинного обучения, государство оставалось «тюремным» - потому что оно не могло, не умело быть другим. Правоохранительная система оставалась без всяких кавычек карательной, и на преступления она могла отвечать только реактивно - то есть когда вред был уже нанесен.
Но с появлением машинного обучения у нас появилась надежда на альтернативу. Надежда очень далёкая - но она может реализоваться только активным и упорным трудом, а не запретами. Предиктивная аналитика преступлений - если нам удастся её реализовать - совершит переворот в правоохранительной системе. Из реактивной она должна стать проактивной, из карательной машины - превратиться в инструмент по предупреждению вреда для общества.
И если авторы письма полагают, что предиктивная аналитика будет работать путём изоляции, притеснения и маргинализации, остаётся только пожалеть их увлечение научной фантастикой и антиутопиями. Мне было бы очень интересно услышать их ответ на вопрос, зачем в радикально новом подходе использовать старые, неработающие и даже контрпродуктивные методы. Многочисленные исследования раз за разом подтверждали, что для предотвращения преступности нужно совсем обратное: инклюзия, социализация и позитивные примеры. Остается только удивляться тому, как активизм «Coalition for Critical Technology» уживается с их чувством полной безысходности в отношении правоохранительной системы.
Вдвойне удивительно такое сочетание потому, что именно будущие технологии способны создать мостик от абстрактной концепции «инклюзии» к конкретным, детально проработанным действиям, поддерживающим каждого индивида, взяв на вооружение гиперперсонализацию и аналитику. Позитивная повестка, которую открывают технологии прогнозирования преступности, имеет колоссальные потенциал и значение. Но - оцените масштаб абсурда - коалиция за критические технологии ратует за запрет критических технологий социального инжиниринга.
Пренебрежение позитивной повесткой приводит к тому, что увлекшиеся критикой авторы начинают делать совсем уж сомнительные заявления. Взять хотя бы их тезис о том, что любое (любое!) предиктивное ПО обосновывает гонения и притеснение. Очень сильное утверждение. С формальной точки зрения, для его опровержения достаточно предъявить хотя бы один алгоритм, который помогал бы притесняемым группам, - и тогда призыв к запрету исследований теряет свою обоснованность.
Гипотетический пример, который обесценивает данный тезис - ПО, которое обучено на данных/применяется для аналитики преступности в группах, которые не являются маргинализованными. Видимо, авторы не в курсе различных техник, применяемых в машинном обучении для устранения возможных предубеждений в данных...
Но черт с ней, казуистикой. Дело тут гораздо серьезнее. А именно, помощь маргинализованным группам является одной из главных мотиваций внедрения машинного обучения в правоохранительную систему. Когда система и ее отдельные исполнители не в состоянии различить нюансы, предпочитая судить людей по цвету их кожи, алгоритм в состоянии мгновенно обработать сотни и тысячи признаков. Если уж совсем прямо, алгоритм - в отличие от полицейского - способен увидеть в негре человека.
Эта способность обрабатывать множество признаков, которые трудно уловить людям, делает неоднозначным заявление об отсутствии причинно-следственной связи между внешностью и вероятностью совершить преступление. Алгоритмы многократно доказали свою способность извлекать совершенно неочевидную, а порой и контринтуитивную информацию. Именно в этом и состоит их главная ценность.
Причинно-следственным «мостиком» здесь теоретически могут быть те или иные гены, которые в совокупности могут влиять одновременно и на внешность, и на девиантное поведение. Вероятность этого не слишком велика (как и точность подобного анализа), но полностью исключить ее можно будет только после интенсивных исследований. А вот запреты, напротив, нисколько не продвинут дело.
Предиктивный анализ преступности может «обосновать» изоляцию и притеснение только в том случае, если изоляция и притеснение действительно будут снижать уровень преступности. Историческая практика показывает, что эти подходы, напротив, ухудшают положение. И вряд ли внедрение предиктивной аналитики хоть сколько-нибудь изменит это.
И коль скоро «Coalition for Critical Technology» не считает нужным исправлять человеческий элемент системы правопорядка, почему нужно запрещать технологический способ коррекции накопившихся проблем? Только потому, что он не идеален? Но это в полной мере относится и к существующим институтам. Более того, активисты даже не утруждают себя упоминанием путей, направленных на устранение недостатков предиктивных алгоритмов (а они, несомненно, есть). Ага, опять безысходность…
Добавим, что, помимо неидеальных алгоритмов, другие пути исправления ситуации выглядят гораздо менее надёжными и результативными. Само собой, поиском альтернатив «Coalition for Critical Technology» себя тоже не утруждает. Очевидно, больше всего их устраивает статус-кво.
Пожалуй, единственным конструктивным предложением авторов является совет разработчикам машинных моделей набираться культурных знаний и учитывать контексты, в которых могут быть использованы результаты их работы. Совет дельный.
Но если исследование учитывает культуру с контекстами и практикует саморефлексию, если оно активно пытается не только избежать вреда, которого так боятся авторы письма, но и сознательно стремится исправить недостатки существующей системы - почему такие исследования объявляются ненужными?
«Эти исследовательские задачи отражают стимулы и перспективы тех, кто находится в привилегированной позиции разработчиков моделей машинного обучения...», - разоблачает письмо «привилегированных» разработчиков. Но эти стимулы и перспективы, как и задачи, могут заключаться в искоренении несправедливости в нынешней системе правопорядка, в исключении предрассудков и уравнивании отношения ко всем, независимо от расы. Перспективы, обогащенные пониманием социального контекста, должны работать на улучшение правоохранительной системы - иначе зачем тогда разработчикам изучать всю эту «гуманитарщину»?
И получается, что авторы сами себе противоречат: нет, усиление дискриминации не является структурным свойством систем машинного обучения. Всё зависит от задач и перспектив. Возможно, «Coalition for Critical Technology» считает, что все разработки в этой области являются инструментами насилия, а все разработчики - не в состоянии изменить систему к лучшему. Но это будет скорее философским, чем научным взглядом на проблему.
Никакими научными доводами нельзя подкрепить утверждение, что прогнозирование преступности «стирает [из памяти] историческое насилие». Напротив, глубокий анализ, необходимый для подобных разработок, позволяет рассмотреть эту тему с максимальной скрупулезностью.
Никакими научными доводами нельзя подкрепить утверждение, что прогнозирование преступности «искусственно создаёт страх». Напротив, только знание может противостоять страху. Более того, предиктивная аналитика - необходимый компонент для перехода от карательной системы правопорядка к предотвращению антиобщественных поступков.
И если «Coalition for Critical Technology» указывает на несостоятельность ранее публиковавшихся работ по этой теме - почему в числе ее «решений проблемы» запрет, а не усиление стандартов рецензирования публикаций? Потому что это добавит веса, «легитимизирует» работы в идеологически неудобной для них области?
Меж тем проблема слабого рецензирования стоит очень остро. Какое там подтягивание по социологии - тут и сами знания в машинном обучении хромают на обе ноги! Для примера можно посмотреть на эту работу, вышедшую в январе и потому нисколько не возбудившую активистов. Исследователи взяли лица преступников из одного датасета, а лица «добропорядочных» - из других! Это при том, что даже в рамках одного датасета однородность данных не гарантирована. И ничего, рецензенты и редколлегия дали «добро»…
Видимо, безысходность «Coalition for Critical Technology» простирается и в отношении научных методов. Конечно, идеологические приёмы работают эффективнее… Ведь призыв к исключению научных исследований в какой-либо области - антинаучен по сути. Даже если исследования не находят никакой связи, даже если слабые работы после публикации опровергаются - отрицательный результат в науке является не менее важным, чем положительный.
А вот в идеологическом поле, напротив, победа кардинально отличается поражения. Что ж, активисты могут праздновать победу. Пресс-релиз о технологии прогнозирования преступности по фото лица удален по просьбе разработчиков системы. Редакция решила не публиковать научную статью. Решила не потому, что рецензенты - или неравнодушные коллеги - нашли в статье серьезные ошибки. А потому, что в прессе поднялась волна из-за письма, авторы которого не жалели терминов вроде «расовые предрассудки» и «тюремное государство».
Да, очень высока вероятность, что обсуждаемая статья была совсем несостоятельна. Да, я не питаю иллюзий насчет того, что внедрение разработанной технологии уменьшило бы несправедливость по отношению к тем или иным группам. Опасения авторов письма могли бы и подтвердиться.
Однако их призыв исключить из научной сферы исследования по прогнозированию преступлений имеет намного более серьезные последствия, чем судьба отдельной статьи или разработки. Особой реакции научных изданий на это требование не последовало. Но скандал вышел громкий, и тысячи подписантов открытого письма - это серьезное обстоятельство. Отныне публикация статьи по данной теме сопряжена с репутационными рисками, совершенно не зависящими от качества работы. А шансы выиграть конкурс на грант сильно снизились по сравнению с более «политкорректными» направлениями.
И выходит, что открытое письмо само искусственно создает страх. Страх заниматься исследованиями в одной из важнейших областей социологии. Важнейших не с точки зрения науки - но с точки зрения самого общества. К защите которого апеллируют активисты.
Это печально. Но это закономерное следствие игнорирования позитивной повестки. Если вместо созидания и желания улучшать систему оставить только обличение и запреты, самой маргинализованной группой становятся несогласные с твоим мнением.
_____________________________________________________
Друзья, я начал вести канал в Телеграм: Экономика знаний. Подписывайтесь!