Comments 26
Неделю назад писал письмо разработчику «Fawkes» и его команде «Fawkes team», с просьбой помочь подтвердить работу алгоритма. Но ответного письма пока не получил.


А почему не issue на гитхабе?
А вы пробовали скормить проверялкам клоакнутое фото и другие свои фото, а не собственно оригинал?
— То есть взять два фото оригинала r1.jpg/r2.jpg.
— Клоакнуть их.
— Получатся ещё два новых: r1_min_cloaked.png/r2_min_cloaked.png.
— И в «проверялках» сравнить: r1_min_cloaked.png и r2_min_cloaked.png?
Confidence is 0.90263.

Разные фото и второе «обработанное» (r1.jpg и r2_min_cloaked.png), а потом второе отзеркаленно.
Обама на фото после обфускации чем-то неуловимо напоминает сильно загоревшего октёра Панина

Если маску одеть, то алгоритм работает почти в ста процентах случаев)
Тени под глазами… да в понедельник или после праздников половина банкоматов с биометрией бы глючила, но нет...))

Отличный фильм, кто не смотрел, обязательно посмотрите. "Помутнение", или "Scanner Darkly". Оригинальный роман Филиппа Дика не менее крут.

То есть по состоянию на середину сентября «Fawkes» не работает. Возможно, конечно, «Fawkes» работала в августе 2020 года. Но в сентябре 2020 году — уже не работает.


А мне кажется, что из вашей проверки еще нельзя сделать такой вывод. Наверное весь смысл программы fawkes не в том чтобы из вашего фото делать «самку горилы», а чтобы другие люди не могли пропарсив интернет по одному вашему фото найти все остальные без больших усилий. У меня нет достаточных навыков программиста, но методику эксперимента я вам попробую накидать:

1)Возьмите достаточно большую базу фотографий и присоедините с десяток своих снимков.
2)Используя еще одно изображение своей персоны, определите каков должен быть порог срабатывания алгоритмов поиска лиц, чтобы среди отобранных ими оказалось по крайней мере 70% добавленных вами изображений себя. Запомните число n всех отобранных фотографий, понятное дело туда попадут снимки не только вас, но и похожих на вас людей
3)Измените с помощью fawkes все свои фото в датасете, кроме эталонного. Снова найдите такой порог срабатывания программ распознавания, при котором в отобранной ими группе фотографий будут присутствовать по крайней мере 70% всех добавленных вами фото завуалированного себя. Посчитайте число m всех фото в отобранной группе.
4) Найдите отношение m/n. Если оно порядка 100, значит оксфордская программа работает «зашибись», если порядка 10, то — на троечку, ну а если порядка 2-3, то пишите разгромный пост на английском.

Методика придумана на коленке за пять минут, возможны уточнения и дополнения, и как всегда: «перед применение проконсультируйтесь со специалистом»
Соглашусь. Я пробовал найти себя по фото, обработанным Fawkes, с помощью сервиса поиска по фото в вк и точность распознавания стала гораздо ниже
Спасибо за предложение. Конструктивно.
Уточню:
определите каков должен быть порог срабатывания алгоритмов поиска лиц

что понимается под порогом срабатывания алгоритмов поиска? Из фразы выше, как мне кажется, следует, что я могу управлять порогом алгоритмов поиска.

И второй вопрос, если позволите:
что имеется ввиду под «алгоритмами поиска»?
Насколько я мог заметить по скриншоту программы сличения лиц дают некоторую числовую оценку похожести от 0 до 1. Теперь о том, как с помощью такой программы сделать свой алгоритм поиска лиц с порогом срабатывания Δ. Возьмем эталонную фотографию и скаждым фото из датасете определим числовую величину ее схожести. Отберем все фото датасета, схожесть которых с эталонной оказалась не меньше Δ. В моем ответе предполагалось, что Δ может иметь значения в некой дискретной шкале, например с шагом в 1/100, поэтому там и появилась фраза: наибольший порог срабатывания, при котором среди подмешенных фотографий алгоритм поиска отбирает не менее 70%. С процентом тоже можно поиграться, разумеется.

В оригинальной статье:


• Experiments show 100% success against state-of-the-art facial recognition services from Microsoft (Azure Face API), Amazon (Rekognition), and Face++. We first “share” our own (cloaked) photos as training data to each service, then apply the resulting models to uncloaked test images of the same person.
• In challenging scenarios where clean, uncloaked images are “leaked” to the tracker and used for training, we show how a single Sybil identity can boost privacy protection. This results in 80+% success in avoiding identification even when half of the training images are uncloaked.

Здесь же проверяется схожесть попарных сравнений. Задачу в такой формулировке решать проще и ответ будет иметь больший confidence rate просто исходя из суженной постановки. Снижение confidence rate на 2-3% для одинаковых фотографий в попарных сравнениях — это скорее "работает", а не "не работает". Если бы задача была переформулирована как поиск ближайших соседей в пространстве, составленном из сотен тысяч эмбедингов лиц, то кмк такие искажения от Fawkes запросто могли бы снизить точность угадывания до озвученных в статье (0%).


В общем, проверяется не то, о чем говорят авторы Fawkes, снижение confidence rate интерпретируется как незначительное и делается вывод о том, что подход не работает. Не надо так.

Поиграйся с этим параметром


-m, --mode : the tradeoff between privacy and perturbation size. Select from min, low, mid, high. The higher the mode is, the more perturbation will add to the image and provide stronger protection.


А то выбрал min и удивляешься что нет результата

Что мешает нейросетям, распознающим лица, брать все загруженные фото, обрабатывать алгоритмом fawkes — и делать два сравнения?

То, что в fawkes используется рандомизация и два запуска не дадут одинаковые результаты.

И решил заменить свои фото в социальных сетях и на всех интернет ресурсах, где есть мои реальные фото.

Сначала было дёрнулся, а потом понял, что в интернете нет моих фото.
Я бы не был столь уверен, учитывая, что родственники, друзья и уличные камеры любят публиковать материалы без спроса.
Вы следите за мной? Надеюсь, эти родственники хоть не подписывают эти фото!
Only those users with full accounts are able to leave comments. Log in, please.