14 August 2019

Система Amazon Rekognition, которая выявляет нелегальных иммигрантов, научилась определять выражение страха на лице

Image processingCloud servicesCyberpunkThe future is here


12 августа 2019 года на сайте Amazon Rekognition было опубликовано скромное объявление об улучшении системы автоматического анализа лиц Face Analysis. Эта программа обрабатывает видеопоток, выделяет на нём лица и для каждого лица генерирует метаданные: пол, диапазон возраста, эмоции, дополнительные атрибуты, такие как улыбка, положение лица, качество изображения и особенности лица (face landmarks).

Из эмоций до сегодняшнего дня поддерживалось семь: счастливый, печальный, сердитый, удивлённый, отвращение, спокойствие и растерянность. Сейчас к ним добавлена восьмая — страх.

Систему Amazon Rekognition использует в своей деятельности ряд правоохранительных органов, в том числе Иммиграционная и таможенная полиция (ICE), которая по указу Трампа сейчас выявляет и депортирует нелегальных иммигрантов. Судя по всему, Amazon Rekognition помогает автоматически выявить подозрительные лица в толпе: у них проверяют документы — и многие действительно оказываются нелегалами.

Перегибы в действиях властей вызывают недовольство у демократической общественности. Например, что офицеры ICE забирают маленьких детей-мигрантов у родителей. Технологические компании, которые сотрудничают с ICE и предоставляют ей инфраструктуру, подвергаются критике, в том числе компания Amazon (для более подробной схемы взаимодействия Amazon AWS и ICE см. инфографику).

Новость об улучшении технологии Face Analysis вызвало бурю негодования у демократов. Вот что пишет Кори Куинн (Corey Quinn), автор списка рассылки «Эта неделя в AWS»:


«AWS попадает под огонь критики за продажи Rekognition федеральному правительству, которое, в свою очередь, строит концентрационные лагеря для детей, и ответ AWS заключается в улучшении «оценки возрастного диапазона» и в «обнаружении страха»? ВЫ БЛИН ИЗДЕВАЕТЕСЬ?!

ICE работает через частного подрядчика Palantir, который занимается дата-майнингом. Критический компонент инфраструктуры — система Investigative Case Management (ICM). Она интегрирует данные из большого количества государственных и частных источников (см. расследование Intercept 2017 года).

Мало что известно, как на самом деле работает программное обеспечение или как широко ICE использует его. Но в течение первых девяти месяцев администрации Трампа аресты ICE увеличились на 42% по сравнению с аналогичным периодом прошлого года. По словам активистов за гражданские права, ICM представляет собой систему массового наблюдения за населением беспрецедентного масштаба, которая в данный момент нацелена на выявление иммигрантов.

В октябре 2018 года было опубликовано независимое расследование, заказанное активистскими организациями Mijente, Национальным иммиграционным проектом и Проектом защиты иммигрантов. Оно обнаружило, что Amazon играет центральную роль в обеспечении базовой инфраструктуры многих ключевых программ ICE и Министерства внутренней безопасности США (DHS). Близкие отношения с федеральным правительством помогли Amazon обеспечить большое количество государственных контрактов.

Все данные и алгоритмы в основе ICM теперь полностью работают на AWS. По словам авторов отчёта, Palantir платит Amazon около $600 000 в месяц за использование своих серверов.

Кроме ICM, AWS размещает несколько других крупных баз данных и систем DHS, связанных с иммиграцией, включая все основные системы данных для USCIS и биометрические данные на 230 миллионов человек, включая отпечатки пальцев, записи лиц и сканов радужной оболочки глаза, которые играют всё большую роль в отслеживании иммиграции по всей стране.

Нет общедоступных данных о том, сколько Amazon получает от этих контрактов, но полный ИТ-портфель DHS составляет $6,8 млрд, что составляет около 10% от прогнозируемых расходов агентства в 2019 финансовом году.

В прошлом году более 450 сотрудников Amazon подписали внутреннее письмо, требующее от компании прекратить сотрудничество с Palantir, но безрезультатно (если не считать вероятного увольнения сотрудников).

Сотрудники Google и Microsoft также протестуют против спорных контактов своих работодателей с правительством. И более успешно. После интенсивных внутренних споров Google в прошлом году отозвала свою заявку на контракт с Министерством обороны на 10 миллиардов долларов. Через несколько дней сотрудники Microsoft опубликовали открытое письмо с просьбой к своему работодателю сделать то же самое.

Генеральный директор Amazon Джефф Безос пока равнодушен к призывам оппонентов и своих сотрудников отказаться от сотрудничества с Министерством обороны и ICE. «Мы будем продолжать поддерживать Минобороны, и я думаю, что мы должны это делать, — говорил он со сцены конференции Wired25. — Одна из задач высшего руководства — принять правильное решение, даже если оно непопулярно».

«Amazon прямо сейчас разрабатывает, рекламирует и продаёт систему для массового наблюдения за населением», — пишет один из сотрудников Amazon в коллективном письме, призывая общественность задуматься о том, к чему это может привести в будущем, потому что нынешняя охота на иммигрантов пахнет расизмом.

Сейчас система Palantir собирает данные, предположительно, с сотен тысяч видеокамер, и выявляет подозрительные лица. С каждым месяцем Amazon улучшает технологию анализа лиц. В последнем пресс-релизе сказано, что уменьшен диапазон возраста при оценке лица. И она научилась распознавать страх. Некоторые уже сейчас предрекают Amazon судьбу IBM:


Несут ли технологические компании ответственность за использование своих систем в сомнительных целях? Должны ли они фильтровать пользователей? Может ли Cloudflare просто так отказать в обслуживании токсичному имиджборду 8chan (по инициативе нескольких частных компаний 8chan недавно буквально исчез из интернета), правильно ли для Google из демократических соображений отказаться от контракта с клиентом, который ей не нравится? Всё это сейчас является темой широкой общественной дискуссии.
Tags:Amazon RekognitionFace Analysisраспознавание страхамассовая слежкаPalantirAWS
Hubs: Image processing Cloud services Cyberpunk The future is here
+8
4.1k 3
Comments 18
Popular right now
Senior DevOps Engineer
from 3,500 $IDT TechnologiesRemote job
Node.js Tech. Lead
from 5,000 to 6,700 $AWWCOR Inc.Remote job
Senior Python Developer (remote)
from 2,800 to 3,200 $Nitka Technologies, Inc.Remote job
Senior Backend Software Engineer (Go, Kotlin)
from 3,500 $IDT TechnologiesRemote job
BackEnd Engineering Lead - PHP/Golang - Dubai - relocation offered
from 8,000 to 9,000 $Tech Space LLCМосква