Защита фото от систем распознавания лиц работает?

Неделю назад писал письмо разработчику «Fawkes» и его команде «Fawkes team», с просьбой помочь подтвердить работу алгоритма. Но ответного письма пока не получил.

А почему не issue на гитхабе?

А вы пробовали скормить проверялкам клоакнутое фото и другие свои фото, а не собственно оригинал?

Обама на фото после обфускации чем-то неуловимо напоминает сильно загоревшего октёра Панина

Напомнило

То есть по состоянию на середину сентября «Fawkes» не работает. Возможно, конечно, «Fawkes» работала в августе 2020 года. Но в сентябре 2020 году — уже не работает.

А мне кажется, что из вашей проверки еще нельзя сделать такой вывод. Наверное весь смысл программы fawkes не в том чтобы из вашего фото делать «самку горилы», а чтобы другие люди не могли пропарсив интернет по одному вашему фото найти все остальные без больших усилий. У меня нет достаточных навыков программиста, но методику эксперимента я вам попробую накидать:

1)Возьмите достаточно большую базу фотографий и присоедините с десяток своих снимков.
2)Используя еще одно изображение своей персоны, определите каков должен быть порог срабатывания алгоритмов поиска лиц, чтобы среди отобранных ими оказалось по крайней мере 70% добавленных вами изображений себя. Запомните число n всех отобранных фотографий, понятное дело туда попадут снимки не только вас, но и похожих на вас людей
3)Измените с помощью fawkes все свои фото в датасете, кроме эталонного. Снова найдите такой порог срабатывания программ распознавания, при котором в отобранной ими группе фотографий будут присутствовать по крайней мере 70% всех добавленных вами фото завуалированного себя. Посчитайте число m всех фото в отобранной группе.
4) Найдите отношение m/n. Если оно порядка 100, значит оксфордская программа работает «зашибись», если порядка 10, то — на троечку, ну а если порядка 2-3, то пишите разгромный пост на английском.

Методика придумана на коленке за пять минут, возможны уточнения и дополнения, и как всегда: «перед применение проконсультируйтесь со специалистом»

В оригинальной статье:

• Experiments show 100% success against state-of-the-art facial recognition services from Microsoft (Azure Face API), Amazon (Rekognition), and Face++. We first “share” our own (cloaked) photos as training data to each service, then apply the resulting models to uncloaked test images of the same person.
• In challenging scenarios where clean, uncloaked images are “leaked” to the tracker and used for training, we show how a single Sybil identity can boost privacy protection. This results in 80+% success in avoiding identification even when half of the training images are uncloaked.

Здесь же проверяется схожесть попарных сравнений. Задачу в такой формулировке решать проще и ответ будет иметь больший confidence rate просто исходя из суженной постановки. Снижение confidence rate на 2-3% для одинаковых фотографий в попарных сравнениях — это скорее "работает", а не "не работает". Если бы задача была переформулирована как поиск ближайших соседей в пространстве, составленном из сотен тысяч эмбедингов лиц, то кмк такие искажения от Fawkes запросто могли бы снизить точность угадывания до озвученных в статье (0%).

В общем, проверяется не то, о чем говорят авторы Fawkes, снижение confidence rate интерпретируется как незначительное и делается вывод о том, что подход не работает. Не надо так.

Поиграйся с этим параметром

-m, --mode : the tradeoff between privacy and perturbation size. Select from min, low, mid, high. The higher the mode is, the more perturbation will add to the image and provide stronger protection.

А то выбрал min и удивляешься что нет результата

Что мешает нейросетям, распознающим лица, брать все загруженные фото, обрабатывать алгоритмом fawkes — и делать два сравнения?