28 July 2018

Система распознавания лиц Amazon Rekognition приняла 28 конгрессменов США за преступников

Image processingCyberpunkThe future is here


Американский союз гражданских свобод (American Civil Liberties Union, ACLU) продолжает кампанию против использования систем распознавания лиц федеральными агентствами и полицией. ACLU настаивает, что качество этих систем слишком низкое для реального использования. В результате будет много ложных срабатываний, из-за чего пострадают невинные люди. Пытаясь убедить Конгресс США запретить использование этих систем, правозащитники предприняли дерзкую, но эффективную акцию: они прогнали через систему распознавания лиц Amazon Rekognition всех американских конгрессменов. Результат оказался немного предсказуем: система распознала 28 конгрессменов как преступников. Фотографии «героев» на скриншоте вверху.

Amazon агрессивно продвигает свою систему распознавания лиц. Недавно стало известно, что корпорация заключила контракты с полицейскими подразделениями округа Вашингтон, штатов Орегон и Флорида. Руководитель компании Джефф Безос позиционирует Rekognition как эффективный инструмент распознавания лиц в реальном времени, в том числе по видеопотоку, который поступает с носимых видеокамер на униформе полицейских.

Это напоминает систему, которую в этом году начали тестировать в некоторых городах Китая, в том числе в городе Чжэнчжоу (провинция Хэнань на востоке центральной части Китая). Там полицейским выдали специальные очки с видеокамерами, которые тоже подключены к программному обеспечению для распознавания лиц.



Гаджеты выдали в первую очередь сотрудникам транспортной полиции, которые работают на оживлённой железнодорожной станции Восточный Чжэнчжоу, потому что перед их глазами проходит больше всего людей. Очки специально разработаны для полиции и подключены к наладонному компьютеру. После сканирования лица прохожего компьютер подключается к центральной базе данных, где осуществляется поиск совпадений. Эксперимент доказал свою эффективность: к 6 февраля полиции удалось идентифицировать семь беглецов, которые обвиняются в скрытии с места ДТП и торговле людьми.

Но в Китае к защите прав человека относятся более снисходительно: там уже на улицах работает 170 млн камер видеонаблюдения, которые подключены к единой системе распознавания лиц. Ложноположительные срабатывания никого особо не смущают, если система помогает ловить реальных преступников.

А вот американские правозащитники считают, что ложноположительные срабатывания — свидетельство того, что система ещё не готова к использованию.

Результаты тестов ACLU показали, что Rekognition ошибочно приняла изображения 28 невинных конгрессменов за преступников. Интересно, что неправильные срабатывания искажены в сторону людей с чёрным цветом кожи. Среди «пострадавших» конгрессменов таких 39%, хотя в реальности темнокожие конгрессмены составляют лишь 20% нижней палаты парламента. Такие результаты подтверждают опасения представителей чернокожих групп, которые изложены в письме Congressional Black Caucus в адрес Amazon, что использование системы распознавания лиц может иметь «глубокие негативные непреднамеренные последствия» для чернокожего населения, незаконных мигрантов и участников акций протеста. В самом деле, есть признаки того, что система чаще ошибается при сравнении чернокожих лиц, особенно женщин.

Ну а вообще под раздачу попали все — и демократы, и республиканцы, и мужчины, и женщины, всех возрастов из разных регионов страны. Все они попали в число ошибок системы.

Представители ACLU считают, что каждое ложноположительное срабатывание подвергает угрозе свободу человека. Полицейский может предвзято относиться к такому человеку, подвергнув его допросу или обыску.



Сканирование произведено на общедоступном сервисе Amazon Rekognition, стоимость услуги составила $12,33. Для сравнения с фотографиями 535 конгрессменов и сенаторов выбрали 25 000 публично доступных фотографий людей в наручниках. Тест проводился с настройками по умолчанию. 28 ошибок означают примерно 5% ложноположительных срабатываний. Теоретически это может и неплохой результат, но если применить её на тысячах лиц, то это означает множество невинных людей, которых подвергнут обыскам из-за ошибки программы.

Конечно, все результаты программы будут проверяться людьми, но все мы знаем, что такие системы могут быстро выйти из-под контроля и перейти в автоматический режим, как это случилось с системой выдачи штрафов за превышение скорости.

ACLU призвал Конгресс «ввести мораторий» на использование данной технологии, пока она не начнёт выдавать приемлемую точность.
Tags:распознавание лицAmazon Rekognition
Hubs: Image processing Cyberpunk The future is here
+39
31.1k 20
Comments 92 +92
Popular right now
C/C++ Developer, Digital image processing
from 2,000 to 2,500 $Almalence, Inc.Новосибирск
Senior Python Developer (remote)
from 2,800 to 3,200 $Nitka Technologies, Inc.Remote job
Senior DevOps Engineer
from 3,500 $IDT TechnologiesRemote job
BackEnd Engineering Lead - PHP/Golang - Dubai - relocation offered
from 8,000 to 9,000 $Tech Space LLCМосква
Senior Backend Software Engineer (Go, Kotlin)
from 3,500 $IDT TechnologiesRemote job