Предвзятость искусственного интеллекта
14.12.2018
Финист Фролов
Казалось бы, искусственный интеллект должен работать как бесчувственная машина и бесстрастный судья. Однако уже сейчас мы массово сталкиваемся с предвзятостью ИИ при работе с людьми, и в перспективе это может привести к ужасающим последствиям:
https://www.cnbc.com/2018/12/14/ai-bias-how-t o-fight-prejudice-in-artificial-intelligence.html
Искусственный интеллект всё шире охватывает мир и проникает во все сферы, угрожая вытеснить людей из многих профессий. Но есть ещё одна связанная с ИИ опасность, которая может привести к серьёзным проблемам раньше, чем мы думаем. Это предвзятость ИИ (англ. AI bias).
С политкорректной точки зрения, данное явление имеет место, когда программы принимают решение на основе ошибок или неполных данных, дискриминируя отдельные группы людей. Или даже алгоритмы и данные могут быть в порядке, однако дискриминация из реального мира переходит в ИИ.
Подобное происходило и продолжает происходить с целым рядом технологий на основе ИИ.
К примеру, недавно возник скандал, связанный с тем, что программы по распознаванию лиц плохо распознают людей определённой расовой принадлежности в сочетании с половыми признаками.
Так, например, 35% фотографий темнокожих женщин были распознаны с ошибками, согласно исследованию Массачусетского технологического института. Для сравнения, в случае светлокожих мужчин ошибки составили лишь 1%.
Другой пример, о котором мы ранее писали. Программы по подбору кадров предпочитают выбирать мужчин, потому что, как правило, именно мужчины чаще занимают те или иные должности (особенно высокопоставленные) согласно материалам накопленных баз данных:
Робот-кадровик Amazon дискриминирует женщин
Корпорация Амазон столкнулась с очередным скандалом в сфере труда: выяснилось, что автоматический алгоритм, который подбирает сотрудников на основе машинного обучения, не любит женщин и предпочитает нанимать мужчин: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G По сведениям Reuters, проект автоматического подбора претендентов на работу в Амазон был запущен в 2014 году. В алгоритм, с одной стороны, загружалась данные о соискателях, а с другой стороны, … Читать далееРобот-кадровик Amazon дискриминирует женщин
ФинФронт
Эксперты для решения этих проблем предлагают расширять круг данных и совершенствовать алгоритмы. Много говорится о том, что при создании подобных ИИ-систем с программистами должны активнее работать гуманитарии (социологи, правозащитники и так далее).
Особенно страшно становится, когда предвзятый ИИ начинает решать вопросы, связанные со свободой, а то и жизнью человека.
В 2016 году разразился ещё один скандал, когда выяснилось, что программа COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, «коррекционное управление профилированием обвиняемых на предмет альтернативных наказаний»), используемая судьями в некоторых штатах США для помощи в вынесении приговоров, также проявляла тенденциозность в отношении к отдельным расам.
Система использовала машинное обучение и архив исторических данных для предсказания вероятности, с которой преступники, совершившие насильственное преступление, совершат его ещё раз. И почему-то для чернокожих вероятность стать рецидивистами оценивалась сравнительно высоко.
Потенциально, в недалёком будущем автономные боевые роботы будут самостоятельно принимать решение о том, убивать человека или сохранять ему жизнь, и здесь будет очень важно правильно определить цель (та же технология распознавания изображений), а затем верно оценить исходящую от неё опасность.
Проблема есть, и она реальная. Но, всё-таки, едва ли её можно решить увеличением количества данных для обучения ИИ.
Самое страшное, что электронные экспертные системы будут действовать невидимым для человека образом. Если ИИ решит, что по статистике нужно, например, дискриминировать представителей этнических меньшинств или левшей, и, например, выдавать им кредиты с повышенной процентной ставкой или не брать их на конкретную работу - то выявить дискриминацию такого рода может оказаться крайне сложно.
Человечество начнёт решать эту проблему только после того, как натолкнётся на несколько очень масштабных скандалов.
via
Финист Фролов
Казалось бы, искусственный интеллект должен работать как бесчувственная машина и бесстрастный судья. Однако уже сейчас мы массово сталкиваемся с предвзятостью ИИ при работе с людьми, и в перспективе это может привести к ужасающим последствиям:
https://www.cnbc.com/2018/12/14/ai-bias-how-t o-fight-prejudice-in-artificial-intelligence.html
Искусственный интеллект всё шире охватывает мир и проникает во все сферы, угрожая вытеснить людей из многих профессий. Но есть ещё одна связанная с ИИ опасность, которая может привести к серьёзным проблемам раньше, чем мы думаем. Это предвзятость ИИ (англ. AI bias).
С политкорректной точки зрения, данное явление имеет место, когда программы принимают решение на основе ошибок или неполных данных, дискриминируя отдельные группы людей. Или даже алгоритмы и данные могут быть в порядке, однако дискриминация из реального мира переходит в ИИ.
Подобное происходило и продолжает происходить с целым рядом технологий на основе ИИ.
К примеру, недавно возник скандал, связанный с тем, что программы по распознаванию лиц плохо распознают людей определённой расовой принадлежности в сочетании с половыми признаками.
Так, например, 35% фотографий темнокожих женщин были распознаны с ошибками, согласно исследованию Массачусетского технологического института. Для сравнения, в случае светлокожих мужчин ошибки составили лишь 1%.
Другой пример, о котором мы ранее писали. Программы по подбору кадров предпочитают выбирать мужчин, потому что, как правило, именно мужчины чаще занимают те или иные должности (особенно высокопоставленные) согласно материалам накопленных баз данных:
Робот-кадровик Amazon дискриминирует женщин
Корпорация Амазон столкнулась с очередным скандалом в сфере труда: выяснилось, что автоматический алгоритм, который подбирает сотрудников на основе машинного обучения, не любит женщин и предпочитает нанимать мужчин: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G По сведениям Reuters, проект автоматического подбора претендентов на работу в Амазон был запущен в 2014 году. В алгоритм, с одной стороны, загружалась данные о соискателях, а с другой стороны, … Читать далееРобот-кадровик Amazon дискриминирует женщин
ФинФронт
Эксперты для решения этих проблем предлагают расширять круг данных и совершенствовать алгоритмы. Много говорится о том, что при создании подобных ИИ-систем с программистами должны активнее работать гуманитарии (социологи, правозащитники и так далее).
Особенно страшно становится, когда предвзятый ИИ начинает решать вопросы, связанные со свободой, а то и жизнью человека.
В 2016 году разразился ещё один скандал, когда выяснилось, что программа COMPAS (Correctional Offender Management Profiling for Alternative Sanctions, «коррекционное управление профилированием обвиняемых на предмет альтернативных наказаний»), используемая судьями в некоторых штатах США для помощи в вынесении приговоров, также проявляла тенденциозность в отношении к отдельным расам.
Система использовала машинное обучение и архив исторических данных для предсказания вероятности, с которой преступники, совершившие насильственное преступление, совершат его ещё раз. И почему-то для чернокожих вероятность стать рецидивистами оценивалась сравнительно высоко.
Потенциально, в недалёком будущем автономные боевые роботы будут самостоятельно принимать решение о том, убивать человека или сохранять ему жизнь, и здесь будет очень важно правильно определить цель (та же технология распознавания изображений), а затем верно оценить исходящую от неё опасность.
Проблема есть, и она реальная. Но, всё-таки, едва ли её можно решить увеличением количества данных для обучения ИИ.
Самое страшное, что электронные экспертные системы будут действовать невидимым для человека образом. Если ИИ решит, что по статистике нужно, например, дискриминировать представителей этнических меньшинств или левшей, и, например, выдавать им кредиты с повышенной процентной ставкой или не брать их на конкретную работу - то выявить дискриминацию такого рода может оказаться крайне сложно.
Человечество начнёт решать эту проблему только после того, как натолкнётся на несколько очень масштабных скандалов.
via