Amazon наложила годовой мораторий на доступ правоохранительных органов к своей крайне спорной системе Rekognition. Об этом компания вчера объявила в своем блоге. И это спустя всего два дня после похожего заявления IBM, решившей прекратить развитие своей похожей технологии.
Под давлением общественности компании согласились, что такие системы могут быть использованы для развития дискриминации и приводят к нарушению прав и свобод человека. От расовых и гендерных предубеждений пока что полностью избавить A.I. не получается.
Недостатки современных систем распознавания лиц лучше всего описали Джой Буоламвини, ученая из MIT, и Тимнит Гебру из Microsoft Research. В своей работе они определили, что у всех AI-систем, в том числе от Microsoft и IBM, существуют предубеждения против людей с темным тоном кожи. Проблема оказалось в том, что изображений белых людей в интернете просто больше, и в основном при тренировке машин используется эта информация.
Процент ошибок при распознавании темнокожих людей в итоге был в несколько раз выше. Это могло привести к не сильно веселым конфузам. Особенно в случае с Rekognition. Amazon продавала свою технологию полицейским для быстрого определения преступников в таких штатах, как Вашингтон, Орегон и Флорида. Хотя общественность говорила, что система для таких важных задач пока не годится. Например, в 2018-м Rekognition приняла за преступников 28 конгрессменов США.
Преступники, очевидно!
В другом исследовании 2019 года Буоламвини с соавтором Деброй Радж проаналазировали Rekognition и пришли к выводу, что ей было сложнее распознавать пол людей с более темной кожей. Многие чернокожие женщины засчитывались как мужчины. В то же время для белых людей таких ошибок почти не возникало.
Amazon попыталась опровергнуть такое исследование, но Буоламвини запостила очень детальный лонгрид на Medium, объясняя, что конкретно происходит с системой. Дальше выводы Джой подтвердила команда из десятка исследователей AI, которые опубликовали открытое письмо к Amazon с призывом не продавать технологию правоохранительным органам.
С тех пор прошло чуть больше года, и вот, на волне протестов в США, Безос решил взять время на доработку системы. В то же время Amazon говорит, что они продолжат предлагать Rekognition для развлечений (например, она хорошо проявила себя при трансляции королевской свадьбы и спортивных матчей). Также доступ к ней продолжат бесплатно получать правозащитные организации, занимающиеся вопросами пропавших детей и борьбой с торговлей людьми.
В то же время остаются другие системы, широко используемые полицией. Самой популярной (куда успешнее Rekognition) в США является Clearview AI. На эту довольно скрытную компанию недавно подали в суд за сканирование фото с социальных сетей и создание базы на более чем 3 млрд фотографий, которую она продает правоохранительным органам.
