Comments 75
UFO just landed and posted this here
То что симтема видит в 28 конгременах преступников, ещё не значит что она ошибается.
ИИ не проведешь! И через СМИ не убедишь и не оболванишь ;)
Шутка конечно забавная, но система не определяет преступные наклонности или нераскрытые преступления, а проверяет находится ли данный человек в списке разыскиваемых преступников. В который, очевидно, конгрессмены не входят.
странно, что в остальных 500 она их не видит — видимо, действительно очень низкая точность.
UFO just landed and posted this here
Какова приемлемая точность?
Мне кажется программа отработала как надо. Стоит проверить этих конгрессменов.
семь беглецов, которые обвиняются в скрытии с места ДТП и торговле людьми.
Интересные семь беглецов. В Китае это преступления примерно одинаковой степени тяжести?
Интересно, что неправильные срабатывания искажены в сторону людей с чёрным цветом кожи. Среди «пострадавших» конгрессменов таких 39%, хотя в реальности темнокожие конгрессмены составляют лишь 20% нижней палаты парламента.
казалось бы, надо сравнивать с долей темнокожих среди преступников, а не среди конгрессменов — но такая постановка вопроса, похоже, сильно отдает неполиткорректностью, и на всякий случай Американский союз гражданских свобод (American Civil Liberties Union, ACLU) не стал указывать разумную постановку вопроса, а привел формулировку, позволяющую подтвердить опасения представителей чернокожих групп. Конечно, привлекать людей в свои ряды — понятный мотив, но подтасовывать формулировки ради этого не есть хорошо.
казалось бы, надо сравнивать с долей темнокожих среди преступников,
Потому что..? Всё правильно они посчитали, неясно только, что с доверительным интервалом.
Соглашусь, есть один тонкий момент, который на бытовом уровне мне показался очевидным — в свете известных претензий к американской полиции по поводу притеснений чернокожих, что-де их преследуют больше, чем белых, хотя при этом не обсуждают, насколько оснований для преследований действительно больше и какова доля чернокожих среди «преследующих» полицейских; словом в обсуждении важного для США расового вопроса встречаются манипуляции статистикой, порой весьма незамысловатые, но для среднего человека незаметные, а звучащие ярко и броско.
Кроме того, признаюсь, что мое первоначальное впечатление при детальном анализе мне пришлось несколько скорректировать.
Тонкий момент состоит в том, насколько система может спутать чернокожего и белого. Будь у нас вместо этой системы много-много полицейских с наметанным глазом (которые вряд ли перепутают белого и чернокожего), ситуация выглядит очевидной, с неизвестно как устроенной системой это не так, хотя определенные догадки тут тоже можно сформулировать.
Итак, пусть у нас доля чернокожих среди (занесенных в базу) преступников X, среди конгрессменов (по условиям эксперимента — заведомо не преступников) — Y, среди конгрессменов, принятых за преступников, — Z. В статье указано, что Z>Y, величина X не обсуждается вовсе.
Если система ошибается совершенно произвольно, то есть на фото конгрессмена в случае ошибки совершенно случайно тыкает на «преступник»/«не преступник», то, действительно, должно быть Z=Y.
В самом деле, пусть система сопоставляет фото невиновного (конгрессмена) с фотографией преступника в базе (общим размером N) равновероятно с какой-то малой вероятностью p. Тогда и белому и чернокожему конгрессмену предстоит стать преступником с вероятностью N*p. Соответственно, для w белых конгрессменов ожидается w*N*p преступников, для b чернокожих конгрессменов ожидается b*N*p преступников. Пусть всего в Конгрессе b+w человек, тогда Y = b/(b+w), 1-Y = w/(b+w), w = (1-Y)*(b+w), b = Y*(b+w).
Соответсвенно, доля чернокожих преступников-конгрессменов будет Z=b*N*p/{b*N*p+w*N*p}=b/{b+w}= Y
Однако совершенно случайную ошибку при неслучайной правильной работе подозревать странно (и, больше того, наверно по различному поведению такие ошибки можно было бы вычленять с пометкой типа «неопределенный результат»), все же это ошибка в работе некоторого алгоритма, поэтому этот вариант выглядит весьма искусственным — хотя с указанными искусственными оговорками логически безупречно.
Теперь предположим, что система не идеальна, но безошибочно различает чернокожего и белого, то есть, условно, сразу определяет предъявленную фотографию в одну из двух категорий, а затем ищет соответствие в так же разделенной на две категории базе (общим размером N), при этом называет сопоставляет фото невиновного (конгрессмена) с фотографией преступника равновероятно с какой-то малой вероятностью p уже после проведения такой классификации. Тогда белому конгрессмену предстоит стать преступником с вероятностью (1-X)*N*p, а чернокожему — X*N*p. Соответсвенно, для w белых конгрессменов ожидается w*(1-X)*N*p преступников, для b чернокожих конгрессменов ожидается b*X*N*p преступников. Пусть всего в Конгрессе b+w человек, тогда Y = b/(b+w), 1-Y = w/(b+w), w = (1-Y)*(b+w), b = Y*(b+w).
Соответсвенно, доля чернокожих конгрессменов-преступников Z=
b*X*N*p/{w*(1-X)*N*p+b*X*N*p}=
b*X/{w*(1-X)+b*X}=
Y*(b+w)*X/{(1-Y)*(b+w)*(1-X)+Y*(b+w)*X}=
Y*X/{(1-Y)*(1-X)+Y*X}=
Y*X/{1-Y-X+2X*Y}
(тут надо бы проверить, что знаменатель никогда не обращается в нуль при X<=1, Y<=1, но, кажется, это так есть, кроме неприятных случаев X=0, Y=1 и наоборот, но тогда и числитель зануляется. Чуть позже разберусь)
Как видите, и доля чернокожих конгрессменов, и доля чернокожих преступников в такой модели входит в итоговую долю чернокожих преступников-конгрессменов на равных правах. Насколько такая модель реалистична?
Мне представляется, что весьма. Полицейские в своих сводках цвет кожи как признак (судя по фильмам) выделяют чуть ли не в первую очередь, признак отчетливый и надежный, поэтому разделять сразу по этой категории для полицейских вполне естественно. Думаю, что автоматическая система тоже легко способна этот признак вычленить и весьма вероятно он стоит высоко в иерархии анализа. Так что если мы считаем, что система в целом работает верно и лишь иногда сбоит, то есть основания учитывать и долю чернокожих среди преступников, а не только среди конгрессменов.
Любопытно посмотреть на предельные случаи Z=Y и Z=X в этой модели.
Подставляя Y = Y*X/{1-Y-X+2X*Y}, после преобразований получим
(2X-1)*Y^2 = (2X-1)*Y,
или (2X-1)*(Y^2-Y) = 0
Далее, (Y^2-Y)=0 соответствует Y=0 и Y=1, расово чистым вариантам Конгресса, действительно, доля чернокожих конгрессменов-преступников среди конгрессменов-преступников будет равняться нулю (единице) за отсутствием чернокожих (белых) конгрессменов.
Проверяя 2X-1 = 0, получим, что доля чернокожих конгрессменов-преступников среди конгрессменов-преступников будет равняться доле чернокожих конгрессменов за счет равного представительства чернокожих и белых в базе преступников и расово-независимой ошибки системы.
Второму варианту, равному представительству чернокожих преступников среди простых краждан и в Конгрессе, соответствуют
X = Y*X/{1-Y-X+2X*Y} и
(2Y-1)*(X^2-X) = 0
Соответственно,
X=0: чернокожих нет в преступном мире, соответсвенно, всякий конгрессмен, определенный как преступник, не чернокожий.
X=1: белых нет в преступном мире, соответсвенно, всякий конгрессмен, определенный как преступник, — чернокожий.
Y = 0.5: равное представительство черных и белых в Конгрессе позвооляет за счет случайности ошибки воспроизвести пропорцию криминального мира.
Кроме того, признаюсь, что мое первоначальное впечатление при детальном анализе мне пришлось несколько скорректировать.
Тонкий момент состоит в том, насколько система может спутать чернокожего и белого. Будь у нас вместо этой системы много-много полицейских с наметанным глазом (которые вряд ли перепутают белого и чернокожего), ситуация выглядит очевидной, с неизвестно как устроенной системой это не так, хотя определенные догадки тут тоже можно сформулировать.
Итак, пусть у нас доля чернокожих среди (занесенных в базу) преступников X, среди конгрессменов (по условиям эксперимента — заведомо не преступников) — Y, среди конгрессменов, принятых за преступников, — Z. В статье указано, что Z>Y, величина X не обсуждается вовсе.
Если система ошибается совершенно произвольно, то есть на фото конгрессмена в случае ошибки совершенно случайно тыкает на «преступник»/«не преступник», то, действительно, должно быть Z=Y.
В самом деле, пусть система сопоставляет фото невиновного (конгрессмена) с фотографией преступника в базе (общим размером N) равновероятно с какой-то малой вероятностью p. Тогда и белому и чернокожему конгрессмену предстоит стать преступником с вероятностью N*p. Соответственно, для w белых конгрессменов ожидается w*N*p преступников, для b чернокожих конгрессменов ожидается b*N*p преступников. Пусть всего в Конгрессе b+w человек, тогда Y = b/(b+w), 1-Y = w/(b+w), w = (1-Y)*(b+w), b = Y*(b+w).
Соответсвенно, доля чернокожих преступников-конгрессменов будет Z=b*N*p/{b*N*p+w*N*p}=b/{b+w}= Y
Однако совершенно случайную ошибку при неслучайной правильной работе подозревать странно (и, больше того, наверно по различному поведению такие ошибки можно было бы вычленять с пометкой типа «неопределенный результат»), все же это ошибка в работе некоторого алгоритма, поэтому этот вариант выглядит весьма искусственным — хотя с указанными искусственными оговорками логически безупречно.
Теперь предположим, что система не идеальна, но безошибочно различает чернокожего и белого, то есть, условно, сразу определяет предъявленную фотографию в одну из двух категорий, а затем ищет соответствие в так же разделенной на две категории базе (общим размером N), при этом называет сопоставляет фото невиновного (конгрессмена) с фотографией преступника равновероятно с какой-то малой вероятностью p уже после проведения такой классификации. Тогда белому конгрессмену предстоит стать преступником с вероятностью (1-X)*N*p, а чернокожему — X*N*p. Соответсвенно, для w белых конгрессменов ожидается w*(1-X)*N*p преступников, для b чернокожих конгрессменов ожидается b*X*N*p преступников. Пусть всего в Конгрессе b+w человек, тогда Y = b/(b+w), 1-Y = w/(b+w), w = (1-Y)*(b+w), b = Y*(b+w).
Соответсвенно, доля чернокожих конгрессменов-преступников Z=
b*X*N*p/{w*(1-X)*N*p+b*X*N*p}=
b*X/{w*(1-X)+b*X}=
Y*(b+w)*X/{(1-Y)*(b+w)*(1-X)+Y*(b+w)*X}=
Y*X/{(1-Y)*(1-X)+Y*X}=
Y*X/{1-Y-X+2X*Y}
(тут надо бы проверить, что знаменатель никогда не обращается в нуль при X<=1, Y<=1, но, кажется, это так есть, кроме неприятных случаев X=0, Y=1 и наоборот, но тогда и числитель зануляется. Чуть позже разберусь)
Как видите, и доля чернокожих конгрессменов, и доля чернокожих преступников в такой модели входит в итоговую долю чернокожих преступников-конгрессменов на равных правах. Насколько такая модель реалистична?
Мне представляется, что весьма. Полицейские в своих сводках цвет кожи как признак (судя по фильмам) выделяют чуть ли не в первую очередь, признак отчетливый и надежный, поэтому разделять сразу по этой категории для полицейских вполне естественно. Думаю, что автоматическая система тоже легко способна этот признак вычленить и весьма вероятно он стоит высоко в иерархии анализа. Так что если мы считаем, что система в целом работает верно и лишь иногда сбоит, то есть основания учитывать и долю чернокожих среди преступников, а не только среди конгрессменов.
Любопытно посмотреть на предельные случаи Z=Y и Z=X в этой модели.
Подставляя Y = Y*X/{1-Y-X+2X*Y}, после преобразований получим
(2X-1)*Y^2 = (2X-1)*Y,
или (2X-1)*(Y^2-Y) = 0
Далее, (Y^2-Y)=0 соответствует Y=0 и Y=1, расово чистым вариантам Конгресса, действительно, доля чернокожих конгрессменов-преступников среди конгрессменов-преступников будет равняться нулю (единице) за отсутствием чернокожих (белых) конгрессменов.
Проверяя 2X-1 = 0, получим, что доля чернокожих конгрессменов-преступников среди конгрессменов-преступников будет равняться доле чернокожих конгрессменов за счет равного представительства чернокожих и белых в базе преступников и расово-независимой ошибки системы.
Второму варианту, равному представительству чернокожих преступников среди простых краждан и в Конгрессе, соответствуют
X = Y*X/{1-Y-X+2X*Y} и
(2Y-1)*(X^2-X) = 0
Соответственно,
X=0: чернокожих нет в преступном мире, соответсвенно, всякий конгрессмен, определенный как преступник, не чернокожий.
X=1: белых нет в преступном мире, соответсвенно, всякий конгрессмен, определенный как преступник, — чернокожий.
Y = 0.5: равное представительство черных и белых в Конгрессе позвооляет за счет случайности ошибки воспроизвести пропорцию криминального мира.
Если система ошибается совершенно произвольно, то есть на фото конгрессмена в случае ошибки совершенно случайно тыкает на «преступник»/«не преступни
Неверно. Равная вероятность ошибки не эквивалентна случайному выбору. Мы должны считать непредвзятую модель черным ящиком, который делает ошибки с равной вероятностью для любого признака. Случайная модель будет обладать этим свойством, но при этом абсолютная величина ошибки будет велика. Это не значит, что не существует более точной модели с этим свойством.
Иными словами если модель качественная, то её вывод не должен зависеть от распределения входных данных. В этом случае сложно сказать состоит ли проблема в неправильной тренировке либо в фундаментальной проблеме в самой модели (т.е.недостаточном количестве фич для сравнения чернокожих людей).
Эм, кажется всё это можно было сформулировать короче: чёрнокожие меньше отличаются друг от друга, чем белокожие. Поэтому и процент ложноположительных для них выше.
В результате будет много ложных срабатываний, из-за чего пострадают невинные люди.
Во-первых, здесь бы не помешал анализ, например, неприемлемо обыскивать 10, если только 10-й окажется разыскиваемым карманником, но вполне ничего, если речь идет об убийце. Или вообще неприменимо такое сравнение, спокойствие случайного прохожего не стоит нарушать из-за пары трупов (да, это уже доведение до абсурда).
Во-вторых:
Результат оказался немного предсказуем: система распознала 28 конгрессменов как преступников. Фотографии «героев» на скриншоте вверху.
А слабо было фотки те разместить, за кого их приняли? Система же не просто говорит «он преступник», а что-то вроде «Это Джон Смит, убийца, с вероятностью 80%» (последнее может и опускаться, тут спорный вопрос о необходимости информации). Может там реально двойники разыскиваемых, тогда при чем тут система?
В целом же все подобные организации (и эта вроде тоже) сторонники свободного перемещения по всему миру. Если раньше можно было локализовать преступников (попробуй границу пересечь, когда тебя ищут), то в случае того же ЕС это работает сейчас вообще никак, потому система распознавания была бы неплохим решением, не с ней нужно бороться, а с ее контролем.
А слабо было фотки те разместить, за кого их приняли? Система же не просто говорит «он преступник», а что-то вроде «Это Джон Смит, убийца, с вероятностью 80%» (последнее может и опускаться, тут спорный вопрос о необходимости информации). Может там реально двойники разыскиваемых, тогда при чем тут система?
Там вообще в оригинале своеобразная история. Они пишут, что взяли публичный (платный) доступ к Amazon Rekognition, добавили туда 25к фоток с задержаний (сами собрали, видимо) и протестировали фотки из конгресса на соответствие базе.
Пишут, что использовали дефолтные настройки. Не выкладывают фотки ложных совпадений (т.е. вообще ничего, кроме слов, что доказывало бы их существование и ложность). Не упоминают, как подобный результат может меняться с изменением размера базы или например, количества не-криминалов в ней. А вот это было бы интересно почитать.
Но так-то да, если технология на реальных объёмах не работает, то на неё просто перестанут обращать внимание. Как на любой другой тревожный индикатор, у которого false positives случаются каждый день.
Идея здравая, реализация как всегда…
Они пишут, что взяли общедоступные фотографии арестов(аных) людей. Типа <ок, гугл, покажи мне фотографии людей в наручниках>. Реальная база полиции в. тестах не участвовала. С учетом малой выборки и того факта, что политиками в США часто становятся люди публичные, результат немного предсказуем заранее. А дальше началось натягивание совы на глобус. С тем же упехом можно было взять "общедоступные фото русских сотрудников правоохранительных органов" и заявить что вот экс губернатор Калифорнии — засланый казачок, но доказательств мы не покажем!
Получается примерно так: «Эта ваша система не работает, ее надо запретить. Ну… то есть наша… Мы ее даже не настраивали… Но не работает.».
Вообще мне кажется, что если из сотни людей оно покажет 50 подозриетльных, то это, как минимум, вдвое уменьшит количество работы для тех, кто это визуально проверяет. Или эти правозащитники считают что сработка системы означает автоматическую посадку человека за решетку, без разбирательств и банальной ручной проверки на совпадение с фото реального преступника?
Вообще мне кажется, что если из сотни людей оно покажет 50 подозриетльных, то это, как минимум, вдвое уменьшит количество работы для тех, кто это визуально проверяет. Или эти правозащитники считают что сработка системы означает автоматическую посадку человека за решетку, без разбирательств и банальной ручной проверки на совпадение с фото реального преступника?
А слабо было фотки те разместить, за кого их приняли
Там же нейросетка, а не система сравнения. Нейросетка сравнивает измерения(?) и говорит, что с таким то процентом показанное лицо находится в обучаемой выборке. А дальше ЛТР решает какой процент является приемлемым и, если хочет, запускает систему сравнения, которая работает намного дольше.
Нейросетка сравнивает измерения(?)
А сравнение наугад или по доверительному интервалу все же? И если сравнивает, то в любом случае нужно указывать, что было оригиналом, одно дело полиции указать на подозреваемого в мошенничестве, а другое — участник банды, принимающей участие в вооруженных ограблениях.
На самом деле могли и «конкретные имена» находить.
aws.amazon.com/ru/rekognition/image-features
> РАСПОЗНАВАНИЕ ЛИЦ
> Rekognition Image позволяет находить похожие лица в больших наборах изображений. За счет этого можно создавать списки найденных на изображениях лиц. Быстрый и точный поиск Rekognition Image возвращает все лица, максимально похожие на указанное.
> СРАВНЕНИЕ ЛИЦ
> Rekognition Image позволяет оценить вероятность того, что лица на двух разных изображениях принадлежат одному и тому же человеку. С помощью Rekognition можно сверять изображение пользователя с исходной фотографией на основании значения сходства в режиме, близком к реальному времени.
Короче вариантов того что именно они делали — много, а деталей о том что делали — мало.
aws.amazon.com/ru/rekognition/image-features
> РАСПОЗНАВАНИЕ ЛИЦ
> Rekognition Image позволяет находить похожие лица в больших наборах изображений. За счет этого можно создавать списки найденных на изображениях лиц. Быстрый и точный поиск Rekognition Image возвращает все лица, максимально похожие на указанное.
> СРАВНЕНИЕ ЛИЦ
> Rekognition Image позволяет оценить вероятность того, что лица на двух разных изображениях принадлежат одному и тому же человеку. С помощью Rekognition можно сверять изображение пользователя с исходной фотографией на основании значения сходства в режиме, близком к реальному времени.
Короче вариантов того что именно они делали — много, а деталей о том что делали — мало.
интересно было бы проверить на наших депутатах.
Сразу вспомнился фильм «Особое мнение» с Томом Крузом.
Тут скорее сериал Person of Interest
Преступления бывают разные, в том числе и политические и экономические. Так шта…
Стоит обратить внимание, что в США человек в наручниках != преступник. У них в наручники одевают всех, на кого есть подозрения, до выяснения всех обстоятельств.
Наручники оденут даже если тормознуть машину копов и попросить подвезти
Ну, если я правильно понял суть эксперимента — это неважно. Определялось не криминальное прошлое конгрессменов :-), а принадлежат ли их лица к множеству лиц с эталонных фоток. Для такого теста можно было взять не людей в наручниках, а, допустим, людей, одетых в зелёное.
Когда же дойдет черед до распознания мордяшек кошек и собак, так проще было бы искать пропавших.
каждое ложноположительное срабатывание подвергает угрозе свободу человека. Полицейский может предвзято относиться к такому человеку, подвергнув его допросу или обыску
Если бы только обыску и допросу! Американский коп может и перенервничав пристрелить, если у тебя в кобуре твой законно купленный ствол, а ты оказался похож мордой на разыскиваемого опасного преступника за которым числятся трупы, и ему показалось, что ты потянулся к стволу.
Тут нужно сильно постараться, как правило. Практически во всех видео стрельбы тот, в кого стреляли, по какой-то причине вел себя странно (вроде полицейский просит не двигаться, а подозреваемый продолжает двигаться). Т.е. реальных случаев, когда полицейский застрелил сходу кого-то очень мало, если вообще есть.
UFO just landed and posted this here
Практически во всех видео стрельбы??
Видео стрельбы мизер. Смею предположить, что вы лично видели мизер из того мизера, что вообще есть.
Вот, например: www.washingtonpost.com/graphics/national/police-shootings-2017/?noredirect=on
987 человек убито полицейскими США в 2017 году. Устанавливаем фильтр weapon = unarmed, получаем 68 человек. Устанавливаем фильтр body camera = yes. 15 человек. Как-то не густо. Всего из 987 случаев body camera была в 101.
Устанавливаем фильтр weapon = unarmed, получаем 68 человек.
А теперь мышкой кликаем на случайное имя. У меня вышла Jamie Dougan. Забиваем в Гугле и что же мы видим:
Полицейский ранен и двое убитых в перестрелке. И вот она одна из убитых в перестрелке, она была в машине с мужиком, который отстреливался.
Она была безоружным соучастником, но в статистике идет как застреленная невооруженная.
Второй Ricco Devante Holden — пытались несколько раз успокоить тазером, потому только стреляли.
Там эту статистику сначала просмотреть нужно, а потом уже называть страшные цифры.
Значит нужно выстрелить первым;) Wild West never changes.
Тебя уже пристрелили, я так понимаю? Или ты повторяешь вранье Задорнова и методичек?
Покойный был в наушниках, и просто не слышал команды полицейского.
А теперь представь, что тебя по ошибке распознали как крайне опасного преступника разыскиваемого за убийства.
Ну то есть тебя не расстреляли, ты сам ничего не знаешь, в США никогда не был и вряд ли получишь когда-то визу, но ты будешь нам рассказывать как убивают полицейский в США и как в РФ полицейские угощают шампанским.
Расскажи вот ему:
www.nv.kz/2015/05/12/91010
Кирилл Денякин был убит полицейским в городе Портсмуте. Сотрудник полиции Стивен Рэнкин принял Денякина за грабителя, когда тот стучался к своему другу. Страж порядка выстрелил в карагандинца 11 раз. Присяжные оправдали полицейского, сочтя, что применение оружия было правомерным. Апелляционная инстанция оставила их решение без изменений.
Ссылка на реальность будет? Не ссылка на сомнительный русскоязычный ресурс в зоне .kz, а на решение суда, например. Нет? Ну почему я так и знал.
en.wikipedia.org/wiki/Death_of_Kirill_Denyakin (24 ссылка на решение суда)
Непонятно, почему люди должны гуглить за вас. Имя жертвы, имя полицейского — все есть.
Кстати говоря, этот полицейский убил еще 1 человека 4 года спустя, за что и был осужден на 2,5 года.
Непонятно, почему люди должны гуглить за вас. Имя жертвы, имя полицейского — все есть.
Кстати говоря, этот полицейский убил еще 1 человека 4 года спустя, за что и был осужден на 2,5 года.
Столько раз уже это пережевывалось. Недавно же была подобная хайповая статья-компиляция про «ужасную» систему распознавания лиц на стадионах.
Было бы очень хорошо, если бы Ализар с Марксом усвоили суть определений ложноположительного и ложноотрицательного срабатываний и разницу между ними.
Проведем мысленный эксперимент. В видеозаписях с массива полицейских камер есть 1 млн лиц. Из них 10 — преступники, которых необходимо опознать.
Без системы распознавания лиц оператору нужно рассмотреть 1 млн лиц, чтобы достичь цели.
С системой распознавания, которая дает 9 ложноположительных срабатываний из 10, оператору нужно рассмотреть всего 100 лиц.
Так какие претензии к системе? Кто сказал, что такой результат — это плохо?
Было бы очень хорошо, если бы Ализар с Марксом усвоили суть определений ложноположительного и ложноотрицательного срабатываний и разницу между ними.
Проведем мысленный эксперимент. В видеозаписях с массива полицейских камер есть 1 млн лиц. Из них 10 — преступники, которых необходимо опознать.
Без системы распознавания лиц оператору нужно рассмотреть 1 млн лиц, чтобы достичь цели.
С системой распознавания, которая дает 9 ложноположительных срабатываний из 10, оператору нужно рассмотреть всего 100 лиц.
Так какие претензии к системе? Кто сказал, что такой результат — это плохо?
Так чего вы к Ализару-то прицепились? Это просто перевод новости, не Ализар делал выводы.
UFO just landed and posted this here
Пардон, а разве выбор того, что именно переводить для публикации на хабре — это не задача редактора? Давайте они нам сейчас напереводят тут газету Sun про инопланетян с планеты Нибиру, а мы схаваем?
Моя претензия к Ализару и Марксу состоит в том, что они либо а) не обладают минимальными знаниями, чтобы отделять зерна от плевел, либо б) понимают, что публикуют шлак, но также понимают, что желтуха и кликбейт — это тоже трафик.
Лично я склоняюсь ко второму варианту, и от этого мне грустно )
Моя претензия к Ализару и Марксу состоит в том, что они либо а) не обладают минимальными знаниями, чтобы отделять зерна от плевел, либо б) понимают, что публикуют шлак, но также понимают, что желтуха и кликбейт — это тоже трафик.
Лично я склоняюсь ко второму варианту, и от этого мне грустно )
но все мы знаем, что такие системы могут быстро выйти из-под контроля и перейти в автоматический режим, как это случилось с системой выдачи штрафов за превышение скорости
Это когда депутатам и прочим «неприкасаемым» стали штрафы приходить? Ужасная трагедия…
Уже вижу как система распознает депутатов в думе.
Мало того что все азиаты на одно лицо, так ещё и их миллиард!
Шутки — шутками, но мне как-то раз сотрудники милиции предложили побыть опознаваемым…
Некий гражданин, приметами "смахивающий" на меня, ограбил тётку (скорее даже бабку). Честно говоря, мне было немного не по себе, когда она чуть не ткнула пальцем в меня, опираясь на сходство.
Такая система меня пугает...
Ткнула бы — вам ничего не было бы, вы играли роль массовки, а обвиняемый/подозреваемый смог бы напирать на тот факт, что опознающий не смог указать на подозреваемого.
По делу — система распознавание лиц, конечно, может быть использована во вред. Аргументы о невинно задержанных/осмотренных имеют право на жизнь и вполне резонны. Но, как и любой инструмент, это можно использовать и во благо, главное кто использует и как. Система опознавания лиц в силу своей несовершенности и из объективных причин (наличие двойников, крайне похожих внешне людей и т.д.) не может служить основанием для задержания. Грубо говоря, если полицейскому система сообщает, что человек в красном похож на разыскиваемого, это не должно быть поводом для маски шоу или рука-кобура-пистолет. Она должна привлекать внимание полицейского к человеку, дальше полицейский может попросить человека показать удостоверение личности или может сам взять да сравнить внешность человека с фотографией разыскиваемого. Плохо ли это? Плохо, если искать будут не преступников, а оппозиционеров и других людей. Если строго зарегулировать попадание человека в базу, по которой система сверяет, тогда многих проблем можно избежать. При условии, что законодательство страны не допускает объявление в розыск человека за участие в митинге против или за что-то, разумеется.
По делу — система распознавание лиц, конечно, может быть использована во вред. Аргументы о невинно задержанных/осмотренных имеют право на жизнь и вполне резонны. Но, как и любой инструмент, это можно использовать и во благо, главное кто использует и как. Система опознавания лиц в силу своей несовершенности и из объективных причин (наличие двойников, крайне похожих внешне людей и т.д.) не может служить основанием для задержания. Грубо говоря, если полицейскому система сообщает, что человек в красном похож на разыскиваемого, это не должно быть поводом для маски шоу или рука-кобура-пистолет. Она должна привлекать внимание полицейского к человеку, дальше полицейский может попросить человека показать удостоверение личности или может сам взять да сравнить внешность человека с фотографией разыскиваемого. Плохо ли это? Плохо, если искать будут не преступников, а оппозиционеров и других людей. Если строго зарегулировать попадание человека в базу, по которой система сверяет, тогда многих проблем можно избежать. При условии, что законодательство страны не допускает объявление в розыск человека за участие в митинге против или за что-то, разумеется.
На тот момент я этого не знал. Но за пояснения спасибо.
Это называется побыть статистом. И по правилам следователи на роль статиста должны найти схожих внешне людей. Но на практике это не соблюдается, в связи с утопичность в некоторых случаях.
Поди найди похожего человека на улице, который согласится побыть статистом и у которого с собой документы есть, и который должен быть схож с рецидивистом всю жизнь зоны топтавшим.
Поди найди похожего человека на улице, который согласится побыть статистом и у которого с собой документы есть, и который должен быть схож с рецидивистом всю жизнь зоны топтавшим.
Грубо говоря, если полицейскому система сообщает, что человек в красном похож на разыскиваемого, это не должно быть поводом для маски шоу или рука-кобура-пистолет.
Если полицейскому сообщат, что этот человек разыскиваем за убийство и наверяка вооружён, то будет именно рука-кобура-пистолет. Потому что полицейскому тоже жить хочется.
«нравятся» мне такие статьи — много эмоций и немного сарказма, только вот разница в том, что в «китае себе могут позволить» ввести в эксплуатацию систему в заведомо известным процентом погрешности выше целевого и обкатывать в жизни, а потом анонсировать там например сотню идентифицированных преступников, но умолчать о тысячах взятых временно под стражу из-за ошибки системы, а в «америках» этого позволить не могут себе, вопрос почему, да ответ — потому, что китай фабрика, а америка потребитель :)
Результаты тестов ACLU показали, что Rekognition ошибочно приняла изображения 28 невинных конгрессменов за преступников. Интересно, что неправильные срабатывания искажены в сторону людей с чёрным цветом кожи.
Зачем городить огород. Кто это люди из ACLU?
Тестированием систем распознания лиц занимается подразделение NIST.
www.nist.gov/programs-projects/face-recognition-vendor-test-frvt-ongoing
В тестировании могут принять участие разработчики, коммерческие организации, институты.
Тестирование бесплатное, по итогам, простые смертные могут ознакомиться с отчетом.
Так вот, согласно последней публикации в ТОП 10 компаний/организаций поставщиков решения в области распознавания лица американских компаний нет.
Прошу любить и жаловать (по версии NIST)
1 yitu-001 — Китай
2 siat-002 — Китай
3 ntechlab-004 — РФ
4 vocord-004 — РФ
5 megvii-001 — Китай
6 isystems-001 — РФ
7 megvii-000 — Китай
8 visionlabs-003 — РФ
9 yitu-000 — Китай
10 psl-000 — Подразделение Panasonic
Как видно из таблички, Китай и РФ лидеры в области распознавания лица.
Причем, ни о какой ошибке в 5% на определенном датасете речи быть не может, ошибка у лидера составляет всего 0.007%, а у замыкающего ТОП -10, 0.033%.
По мимо вероятности распознавания господа из NIST замеряют и скоростные характеристики, дабы понимать, а можно ли вообще использовать эти алгоритмы в «боевых условиях», а вот тут не все хорошо, самые точные алгоритмы требуют больших вычислительных ресурсов.
Кодовое имя Страна Время обнаружения лица и
алгоритма построения дескриптора
(чем выше, тем хуже)
1 yitu-001 — Китай 751 мс
2 siat-002 — Китай 579 мс
3 ntechlab-004 — РФ 818 мс
4 vocord-004 — РФ 619 мс (использует GPU)
5 megvii-001 — Китай 543 мс
6 isystems-001 — РФ 291 мс
7 megvii-000 — Китай 785 мс
8 visionlabs-003 — РФ 231 мс
9 yitu-000 — Китай 672 мс
10 psl-000 — Подразделение 629 мс
Panasonic
Самое низкое время у российского алгоритма visionlabs-003 (8 в списке лидеров), следом за ним также российский алгоритм isystems-001 (6 в списке лидеров), далее, расположились алгоритмы из Китая и потом снова РФ.
Я призываю товарищей из ACLU сначала протестировать технологию распознавания лиц от ведущих поставщиков решения (по версии NIST, США), ну и только потом призывать Конгресс «ввести мораторий»…
Сдается мне что разница просто в методиках тестирования и в задачах, которые ставятся перед алгоритмами. Будь кто-то из этого списка более подходящим чем алгоритм Амазона — Амазон бы его купил с потрохами не думая. А раз не купил, значит они либо хуже, либо не применимы для задач в которых собирается использовать Амазон. Там же не идиоты сидят.
Группа инвесторов, в том числе Alibaba Group и Boyu Capital, вложили порядка $600 млн в Megvii Inc., китайского разработчика системы распознавания лиц Face++. Об этом в понедельник сообщает Bloomberg со ссылкой на источники.
abnews.ru/2018/07/23/alibaba-vlozhila-600-mln-v-razrabotchika-sistemy-raspoznavaniya-lic
Megvii Inc — Пятый в списке NIST
abnews.ru/2018/07/23/alibaba-vlozhila-600-mln-v-razrabotchika-sistemy-raspoznavaniya-lic
Megvii Inc — Пятый в списке NIST
ждем сообщения «Система распознавания лиц Amazon Rekognition приняла 28 преступников за конгрессменов США»
Sign up to leave a comment.
Система распознавания лиц Amazon Rekognition приняла 28 конгрессменов США за преступников