11 июня

Amazon запрещает полиции использовать свою технологию распознавания лиц

Блог компании Pochtoy.comМашинное обучениеИскусственный интеллектIT-компании


Amazon наложила годовой мораторий на доступ правоохранительных органов к своей крайне спорной системе Rekognition. Об этом компания вчера объявила в своем блоге. И это спустя всего два дня после похожего заявления IBM, решившей прекратить развитие своей похожей технологии.


Под давлением общественности компании согласились, что такие системы могут быть использованы для развития дискриминации и приводят к нарушению прав и свобод человека. От расовых и гендерных предубеждений пока что полностью избавить A.I. не получается.


Недостатки современных систем распознавания лиц лучше всего описали Джой Буоламвини, ученая из MIT, и Тимнит Гебру из Microsoft Research. В своей работе они определили, что у всех AI-систем, в том числе от Microsoft и IBM, существуют предубеждения против людей с темным тоном кожи. Проблема оказалось в том, что изображений белых людей в интернете просто больше, и в основном при тренировке машин используется эта информация.


Процент ошибок при распознавании темнокожих людей в итоге был в несколько раз выше. Это могло привести к не сильно веселым конфузам. Особенно в случае с Rekognition. Amazon продавала свою технологию полицейским для быстрого определения преступников в таких штатах, как Вашингтон, Орегон и Флорида. Хотя общественность говорила, что система для таких важных задач пока не годится. Например, в 2018-м Rekognition приняла за преступников 28 конгрессменов США.



Преступники, очевидно!

В другом исследовании 2019 года Буоламвини с соавтором Деброй Радж проаналазировали Rekognition и пришли к выводу, что ей было сложнее распознавать пол людей с более темной кожей. Многие чернокожие женщины засчитывались как мужчины. В то же время для белых людей таких ошибок почти не возникало.


Amazon попыталась опровергнуть такое исследование, но Буоламвини запостила очень детальный лонгрид на Medium, объясняя, что конкретно происходит с системой. Дальше выводы Джой подтвердила команда из десятка исследователей AI, которые опубликовали открытое письмо к Amazon с призывом не продавать технологию правоохранительным органам.




С тех пор прошло чуть больше года, и вот, на волне протестов в США, Безос решил взять время на доработку системы. В то же время Amazon говорит, что они продолжат предлагать Rekognition для развлечений (например, она хорошо проявила себя при трансляции королевской свадьбы и спортивных матчей). Также доступ к ней продолжат бесплатно получать правозащитные организации, занимающиеся вопросами пропавших детей и борьбой с торговлей людьми.


В то же время остаются другие системы, широко используемые полицией. Самой популярной (куда успешнее Rekognition) в США является Clearview AI. На эту довольно скрытную компанию недавно подали в суд за сканирование фото с социальных сетей и создание базы на более чем 3 млрд фотографий, которую она продает правоохранительным органам.


Теги:amazonpochtoyrekognitionAIправоохранителибеспорядки
Хабы: Блог компании Pochtoy.com Машинное обучение Искусственный интеллект IT-компании
+5
4k 11
Комментарии 9
Похожие публикации
Лучшие публикации за сутки