прогрессивный регрессионный анализ

[mi_b]

Интересная дискуссия @SlateStarCodex про алгоритмическую справедливость - то есть, про то, что делать, когда статистический анализ поддерживает точку зрения, возможно, популярную, но которая не вполне в русле линии партии и правительства. Где-то мы это обсуждали (с ikadell?) но сейчас ссылок не найду. Оказывается, человечество изобрело для таких проблем

Comments

[yozhig]

А что - эти комми люди никогда не слышали, что для успешности affirmative action должна быть ограниченной по времени и участникам, а также учитывать изменчивость data generating process? Ну, или на крайняк, дизайн должен удовлетворять парето-оптимальности на запланированном горизонте - тогда хотя бы можно объективно (статистически) оценить эту изменчивость...

[mi_b]

Интересно, этот подход сильно зависит не только от того, насколько вторая сетка, угадывающая расу, старается, но и от того, на каком уровне мы ее применим. Например, в крайних случаях, если ее применить к последнему слою, то мы просто гарантируем, что у нас поровну негров и белых. А если применить к первому слою, то гарантируем, что нет вообще ни одного признака или комбинации хоть как-то коррелированных с расой. В среднем слое будет нечто между, и похоже, что это будет удовлетворять необходимому требованию в последнем определении. Но там еще есть требование минимальности воздействия.

И, поскольку вопросы алгоритмической справедливости будут все больше рассматриваться в судах, будет весело, с диспутами, достаточно ли долго тренировали вторую сетку и хорошо ли ей выбрали архитектуру :)

[maxwolf]

Недавно, по схожей проблеме, в очередной раз восхитился Станиславом Лемом и его "Суммой технологии". Там даётся забавный гипотетический пример, как "чёрный ящик" (читай, нейронная сеть) будет уничтожать людей с помощью средств от кариеса и облысения. Причём, в обход "защищённых признаков" и "алгоритмов поправки", и безо всякой злонамеренности!

[submagic]

Да, помню этот пассаж там. Очень реалистично описано.

Ну так люди делают примерно то же самое, обходя правила и законы, находя в них баги и противоречия. Просто возможностей у них (у каждого отдельно взятого человека) поменьше.

[submagic]

От связанных признаков всё равно никуда не деться. Если чёрные в среднем зарабатывают меньше, чем белые - то кредиты им будут одобряться экспертной системой (при прочих равных условиях) менее охотно, чем белым, это же понятно. И это никак не обходится - до того момента, пока средняя заработная плата чёрных и белых не будет выровнена.

Среди пожарных почти нет женщин не потому, что их в пожарные не берут, дискриминируя по половому признаку - а потому, что женщина, способная пройти отбор в пожарные по физическим показателям, скорее пойдёт в женский спорт. И будет там ставить соответствующие рекорды и зарабатывать гораздо бОльшие деньги, чем могла бы в пожарной дружине.

[mi_b]

да нет, при желании, можно запретить экспертные системы, которые не выдают кредиты черным достаточно часто. Этот пост - про то, какие эскпертные системы будут разрешены

[submagic]

Для этого нужно убедиться, что данная кредитная система не выдаёт кредиты чёрным достаточно часто. Но как это сделать, если сам параметр расы нигде не учитывается?..

В теории, можно собрать данные по расе тех, кто кредиты ПОЛУЧИЛ (хотя как и с какой такой стати?..). Но откуда брать данные о расе тех, кому ОТКАЗАЛИ (если на входе они не собираются и нигде не учитываются далее)? А без этих данных понятие «не выдают кредиты чёрным достаточно часто» теряет смысл.

[mi_b]

на практике для осуждения и миллиардных штрафов достаточно показать, что по факту черным дали кредитов меньше, чем белым. вот, например. Параметр расы учитывается на некоторых этапах, если его совсем не учитывать, то получится дискриминация по коррелированным параметрам - см в исходном посте.

[ext_4146071]

Наткнулся случайно на Ваш ЖЖ - сам я в ЖЖ не местный! - хорошие темы встречаются в нём.
Здесь, например, затронута идея, близкая к прогрессивной пропорциональности,
которая спасла бы бундесвыборы 2013, как показано тут в последней шпаргалке.
http://maxpark.com/community/8232/content/6015754