Открыть список
Как стать автором
Обновить

Житель Детройта судится с полицией из-за ареста на основании данных системы распознавания лиц

Информационная безопасностьОбработка изображенийМашинное обучениеИскусственный интеллект
Всего голосов 24: ↑23 и ↓1 +22
Просмотры7.9K
Комментарии 53

Комментарии 53

Сама запись была некачественной, так как все произошло в темное время суток

Классика
Заголовок спойлера
image
недостатки системы, включая ее расовую предвзятость.

дожили…
Просто поговаривают что учебные датасеты не отражают реальное рассовое соотношение… Правда в разные регионах США оно разное
И поэтому система распознавания лиц опознала темную кожу вместо светлой или что? Я как-то не очень понял это из статьи...
При этом подозреваемый был темнокожим.
Или что она неправильно сделала в виде расовой предвзятости? Должна была поискать белого с блэкфейсом?
сначала нейросети научили рисовать, а теперь недоумевают от того, что они расовые теории строят =)
Качество работы алгоритма машинного обучения напрямую зависит от разнообразия исходного датасета, на котором выполнялось обучение. Нейросеть натренированная преимущественно на белых лицах, будет чаще ошибаться при работе с чёрнокожими. В свою очередь, многие датасеты, используемые для обучения, имеют данный недостаток просто потому что в странах, где разрабатываются системы распознания лиц, чернокожее население является меньшинством и случайная выборка людей для создания датасета будет несбалансированной по этой причине.
Эм, тогда это не «расовая» предвзятость, а стандартное человеческий косяк распознавания, когда представители другой расы на одно лицо, то есть просто малая достоверность распознавания для представителей рас, отличных от европеоидов…
… все произошло в темное время суток. При этом подозреваемый был темнокожим...

… недостатки системы, включая ее расовую предвзятость.


Расовая предвзятость, — это когда на ночных фотках распознаются негры, даже если их там нет?)
Расовая предвзятость — это когда фотках распознаются негры.

Исправил.
А должны распознаваться афроамериканцы?
Берешь фото, вроде афроамериканец, но нет, присмотрелся, всё таки негр.
Распознаваться должны лишь только не афронегроамериканцы.
Это всё тяга к заимствованиям русского языка. Позаимствовали «негр», — придётся теперь делить последствия. В чешском, например, он просто чернох, — и ни у кого никаких вопросов.
Испанцам очень тяжело, наверное.
Недавно была история с Эдинсоном Кавани (уругваец, испаноязычный).
Хотя именно хиспаникам вся эта история с пигментно-одаренными до одного места. Они сами в работорговле замешаны не были, предъявить им не выйдет, а в не самых спокойных уголках большого ЛА это еще кто кого порежет. У латиносов будет однозначно численный перевес.
Они сами в работорговле замешаны не были

Вообще-то очень даже.были.
В испаноязычных странах темнокожих, чьи предки не по доброй воле приехали из Африки, очень много. Другой вопрос, что там не было столь жесткой сегрегации, как в США и Великобритании,. А та, что была, достаточно быстро почти сошла на нет, в отличии от тех же США, где неофициально кое-где она все еще имеет место.

Ну, не думаю что миллионы чиканос из ЛА имеют какое-то отношение к владельцам плантаций тростника и фруктов. Они в смысле своего социального происхождения гораздо ближе к самим афроамериканцам.

Во-первых, подавляющее большинство белого населения США не имеет никакого отношения к плантаторам и прочим рабовладельцам. Более того, среди них хватает потомков белых рабов.
Во-вторых, замешаны они в работорговле были ровно по тому же принципу, что и большая часть белого населения Америки. Они той же расы (в США они вполне проходят как белые) и являются в большинстве своем прямыми потомками белых колонизаторов из Европы. Коллективная ответственность в чистом видн, не отмажешься.

Вообще-то negro — черный на испанском языке.
подозреваемый был темнокожим

И


недостатки системы, включая ее расовую предвзятость

А всё-таки пусть будет непредвзятой, ну правда! И гендерно нейтральной, а то ну как так то. Пусть по фото темнокожего мужчины находит блондинку, а то вообще этот ваш ИИ совсем распоясался!

недостатки статистики, включая ее расовую предвзятость*
fixed
Были же сообщения о том, что полицейские управления отказываются от системы предсказания возможных нарушений, которая посылает патрули туда, где они в результате арестовывают больше негров, чем белых. Нарушая тем самым установленные социальные нормы соотношения цветных и белых преступников. Статистику портят, в общем, роботы эти.

Если статистика говорит, что в районе А больше нарушений, чем в Б, то послав патрули туда вы зарегистрируете в А ещё больше нарушений. Обновляете данные алгоритма, и снова все в А, и там ещё больше нарушений. Возникает цикл с положительной обратной связью, который не разорвать. А вместо этого надо бы подумать о том, почему люди идут на преступления и как они вообще живут там на самом деле

А вместо этого надо бы подумать
Извините, я сократил)
Собственно думать то особо нечего. Образование стоит дорого, дети учится не заинтересованы. Порочный круг.
Образование стоит дорого, дети учится не заинтересованы. Порочный круг.
а круг в чём?
Люди с низким уровнем образования не могут найти работу и идут на преступления, их дети не могут/хотят получить образование, не могут получить работу и идут на преступления, их дети… круг замкнулся.
Только там проблема несколько другая и даже с образованием не всё так однозначно. Вы больше описали проблемы реднеков (только без части про преступления), а не проблему гетто.
Дети считайте всегда не заинтересованы в образовании. И образование часто стоит дорого для всех, а не только для жителей чернокожих гетто.
Образование стоит дороже для тех, кто меньше зарабатывает. Не в абсолютных долларах, разумеется.
В сша конкретно для бывших угнетённых оно может быть доступнее, чем для «угнетателей» из реднеков и всяких депрессивных регионов. Просто по всяким квотам и прочему.
Я отвечал конкретно на «стоит дорого для всех». Вы тут к чему-то неявно подводите, но не указываете, к чему. К тому, что в гетто ситуации лучше, чем у реднеков? А какой процент белых в США — реднеки?
Стоит дорого оно для всех, но гетто в основном забиты почему-то теми, кто в сша составляет меньший процент по расе, кому образование может достаться дешевле за счёт кучи квот? Из-за чего программы предсказания резко становятся расистами.
Достаточно тонкий намёк?
К тому, что в гетто ситуации лучше, чем у реднеков?
Ну Трапма то выбрали, так что сомневаюсь, что заметно меньше чем определенного цвета кожи. Вот только тюрьмы больше чем на поливну (до 2/3 вроде) забиты последними.
К тому, что в гетто ситуации лучше, чем у реднеков?
Как говорится, а вы отличаете потенциальную энергию от кинетической?
Под «ситуацией» я подразумевал «ситуацию с доступностью образования», если что. И суть была в том, что чёрных реднеков (исторически так сложилось) практически не бывает. Т.ч. сравнивать нужно не на всю расу, а именно вот таки две общности — «жители чёрных гетто» против «реднеков».
Доступность образования черным через квоты и всякие стимуляции от государства вполне может быть лучше, чем у белых реднеков.
Более того, были статьи о том, что в армии вот много черных, ноооо… как только берёшь спецназы, где и риск выше, и требования (в том числе к мозгам) — там черных почти нет. Сплошь белые. А черным с такими статами просто в универы поступают.

Нет, тут жалоба на другое. Система хорошо умеет различать белокожих и плохо различает (много ложных срабатываний) для темнокожих.

Увы, это практически неустранимый недостаток, учитывая относительно бОльший уровень шумов на темных изображениях и бОльший вес бликов на изображениях темнокожих.

А белые сливаются с занавесками, небом и побелкой. Или нет? Насколько я понимаю, это вопрос настройки софта и железа. И был серьёзный скандал с плёнками для фотографий из-за того, что в них не "целились" в цвет тёмной кожи.

Эм, ну «предвзятый» в русском — это больше про то, что до начала анализа система уже предполагает чернокожего, потому что среди них больше преступников с её точки зрения
То есть нечёткая фотка — ищи негра. Намазался гуталином — опозновай ближайшего темнокожего.
А это просто «недостоверно ищущая по разным расам программа».
Немножко классики

Ну а в целом это то почему любую систему ComputerVision нужно использовать очень аккуратно/помня об ошибках. Ну и да. Ждем пока Сбербанк разрешит оплату лицами на кассах.
В банкоматах вроде бы уже сделали.
Немножко классики
Какой-то у вас «предвзятый датасет».
Надо бы добавить того же автора «Хлоротичные девицы идут к первому Причастию в снежную пору»" (1883) и «Уборка урожая помидоров на берегу Красного моря апоплексичными кардиналами» (1884).

Писали уже много раз про расовую предвзятость AI. И дело тут даже не выборках, на которых его обучали. Дело в том, что цвет кожи типичного афроамериканца, сфотографированного в студийном свете, вообще не чёрный, а тёмно-тёмно оранжевый. Кто не верит, возьмите голливудские кадры и пипеткой померяйте. И когда лицо белого либо китайца плохо освещено, получается похожий оттенок. В результате, если на яркой улице стоит белый либо китаец, и лицо его в тени от шляпы либо чёлки, система уверенно решает, что это негр, и дальше подбирает наиболее похожее лицо уже из базы негров.


Вот и получается, что система определения преступников настроена против негров. Будь негры не чёрными, а снежно-белыми, было бы наоборот.

Я чёт сейчас не понял? Негры ещё и в отдельной базе находятся? Резервация для негров онлайн?

Это чтобы ровно по 1/3(или 1/4 или...) из каждой базы :)

Во-первых, не меряйте ничего по голливудским кадрам хотя бы потому, что цвета голливудских фильмов намеренно искажены. Я вот снимаю иногда на киношную пленку kodak vision 3 и оранжевым негром меня не удивить.
Во-вторых, есть пруфы, что в штатах или где-то ещё используется система распознавания лиц на основе цвета кожи? Просто я видел несколько рабочих систем, две для коммерческого использования и одну для использования правоохранительными органами одной центрально-европейской страны. И все они оперировали параметрами лица (формы и расстояния), но никак не цветом кожи.
Дело в том, что цвет кожи типичного афроамериканца, сфотографированного в студийном свете, вообще не чёрный, а тёмно-тёмно оранжевый.
Я вас, видимо, удивлю, но коричневый — это и есть тёмно-оранжевый.

Коричневый = тёмный оранжевый, кстати, так что тут никакого откровения нет.

Всё что я видел о предвзятости подобных программ — это то, что система предсказаний возможных повторных правонарушений для судов, где не было указано ни расы, ни цвета кожи, всё равно негативнее относилась к неграм, чем к белым, из-за чего там вроде назначались большие суммы залогов и более строгие условия, если уж не ошибаюсь.
Вот только что-то меня терзают смутные сомнения, что корреляции были не с расой человека, а с адресами и неблагоприятными районами проживания, жители которых чаще совершают повторные преступлениями, а так же уровнем образования и прочими нюансами.
Поэтому хотелось бы увидеть статьи с подтверждением о том, что системы распознавания по цвету кожи хоть как-то ориентировались и были на этом пойманы.
Вот тебе цена такой «безопасности». А про незаконную слежку и упоминать не надо.
Чернокожий под покровом ночи воровал не уголь ли случайно? ))
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.