Viva La Evolución!
“The Verge” поднимает важную тему, касающуюся одновременно персональных данных, работающих с ними институтов и цифровых прав. Автор, американец, пишет о своих приключениях с системой кредитного рейтинга. Система безнадежно путаёт его с его же сестрой-близнецом. И эта путаница имеет очень серьезные последствия: получить даже кредитную карту - не говоря уже об автокредите или ипотеке - становится очень проблематично. Несмотря на идеальную кредитную историю.
По сути, система по собственной прихоти уничтожает финансовую свободу человека. Да, везде могут возникнуть ошибки. Но самое скверное заключается в том, что в данном случае механизмы исправления ошибок работают из рук вон плохо. И автор, и ее сестра годами пытаются исправить свои данные, но либо искоренить ошибки полностью совсем не удается, либо они вновь возникают через несколько лет.
Всё упирается в том, что у системы полностью отсутствуют стимулы поддерживать достоверность базы данных. И существует большая предрасположенность ошибаться в сторону чрезмерной осторожности. Их клиенты - банки. Не выдав кредит добросовестному заёмщику, они потеряют намного меньше, чем если выдадут кредит недобросовестному. Именно завышенный кредитный рейтинг является самой страшной ошибкой с точки зрения кредитного бюро. А вот ошибки в персональных данных, автоматически вызывающие подозрение алгоритма, им до лампочки.
Кредитные бюро существуют в своей собственной системе координат, и у них свои представления о том, насколько эта система координат обязана совпадать с реальностью. Люди расплачиваются за эти несовпадению своей финансовой свободой, но институты не видят этих издержек. Они просто так устроены, у них очень специфическое "поле зрения".
Всё это подводит нас к регулярно звучащим страшилкам о том, как опасно внедрять «ИИ» в системы принятия решений, как люди беззащитны перед такими системами и насколько такие системы непрозрачны. Как видим, кредитные бюро, работающие по современным правилам аж с 1970-ых - когда никто про «ИИ» в жизни не слышал - подвержены тем же самым проблемам.
Следовательно, мы можем сделать вывод, что перечисленные проблемы - не столько проблемы «ИИ», сколько институциональные проблемы. И решение их заключается совсем не в отказе от алгоритмов. А в тщательном институциональном дизайне, закладывающем в основу интересы всех затронутых групп, насыщающем организацию обратными связями и обеспечивающем максимальную прозрачность работы.
И самое главное - строящемся на непрерывном совершенствовании, эволюции механизмов своей работы. Чтобы уметь решать непредвиденные проблемы, институт обязан уметь меняться. Хороший образец для подражания даёт индустрия разработки софта, где все процессы заточены на постоянное итеративное улучшение продукта.
И хотя программное обеспечение пожирает мир, к сожалению, принципы работы софтверной индустрии очень слабо распространяются за ее пределы.
Мы неплохо продвинулись в подходах к разработке софта - и именно поэтому алгоритмические системы решений могут справиться с многими проблемами, в которых погрязли традиционные бюрократии. Мы неплохо продвинулись и в машинном обучении. Но вот что касается осмысленного институционального дизайна - здесь всё очень убого. И особенно убого в области эволюционного совершенствования институтов.
Этот разрыв необходимо преодолевать. Особенно учитывая то стремление к алгоритмическим системам решений, которую мы сейчас наблюдаем. И на Западе, и тем более в Китае. Сильные стороны таких систем очевидны, но игнорирование важности институционального дизайна способно свести на нет даже самые бесспорные преимущества. Условно говоря, это будет попыткой заставить лошадь вместо телеги тащить "Ламборгини" по разбитой сельской дороге.
В отличие от страшилок про «ИИ», о проблемах с институциональным дизайном СМИ говорят редко. Бояться намного проще, чем меняться. Но меняться - и это очевидно из статьи - всё-таки необходимо.
По сути, система по собственной прихоти уничтожает финансовую свободу человека. Да, везде могут возникнуть ошибки. Но самое скверное заключается в том, что в данном случае механизмы исправления ошибок работают из рук вон плохо. И автор, и ее сестра годами пытаются исправить свои данные, но либо искоренить ошибки полностью совсем не удается, либо они вновь возникают через несколько лет.
Всё упирается в том, что у системы полностью отсутствуют стимулы поддерживать достоверность базы данных. И существует большая предрасположенность ошибаться в сторону чрезмерной осторожности. Их клиенты - банки. Не выдав кредит добросовестному заёмщику, они потеряют намного меньше, чем если выдадут кредит недобросовестному. Именно завышенный кредитный рейтинг является самой страшной ошибкой с точки зрения кредитного бюро. А вот ошибки в персональных данных, автоматически вызывающие подозрение алгоритма, им до лампочки.
Кредитные бюро существуют в своей собственной системе координат, и у них свои представления о том, насколько эта система координат обязана совпадать с реальностью. Люди расплачиваются за эти несовпадению своей финансовой свободой, но институты не видят этих издержек. Они просто так устроены, у них очень специфическое "поле зрения".
Всё это подводит нас к регулярно звучащим страшилкам о том, как опасно внедрять «ИИ» в системы принятия решений, как люди беззащитны перед такими системами и насколько такие системы непрозрачны. Как видим, кредитные бюро, работающие по современным правилам аж с 1970-ых - когда никто про «ИИ» в жизни не слышал - подвержены тем же самым проблемам.
Следовательно, мы можем сделать вывод, что перечисленные проблемы - не столько проблемы «ИИ», сколько институциональные проблемы. И решение их заключается совсем не в отказе от алгоритмов. А в тщательном институциональном дизайне, закладывающем в основу интересы всех затронутых групп, насыщающем организацию обратными связями и обеспечивающем максимальную прозрачность работы.
И самое главное - строящемся на непрерывном совершенствовании, эволюции механизмов своей работы. Чтобы уметь решать непредвиденные проблемы, институт обязан уметь меняться. Хороший образец для подражания даёт индустрия разработки софта, где все процессы заточены на постоянное итеративное улучшение продукта.
И хотя программное обеспечение пожирает мир, к сожалению, принципы работы софтверной индустрии очень слабо распространяются за ее пределы.
Мы неплохо продвинулись в подходах к разработке софта - и именно поэтому алгоритмические системы решений могут справиться с многими проблемами, в которых погрязли традиционные бюрократии. Мы неплохо продвинулись и в машинном обучении. Но вот что касается осмысленного институционального дизайна - здесь всё очень убого. И особенно убого в области эволюционного совершенствования институтов.
Этот разрыв необходимо преодолевать. Особенно учитывая то стремление к алгоритмическим системам решений, которую мы сейчас наблюдаем. И на Западе, и тем более в Китае. Сильные стороны таких систем очевидны, но игнорирование важности институционального дизайна способно свести на нет даже самые бесспорные преимущества. Условно говоря, это будет попыткой заставить лошадь вместо телеги тащить "Ламборгини" по разбитой сельской дороге.
В отличие от страшилок про «ИИ», о проблемах с институциональным дизайном СМИ говорят редко. Бояться намного проще, чем меняться. Но меняться - и это очевидно из статьи - всё-таки необходимо.