Как работает FaceID в iPhone X: алгоритм на Python

[gleb_kudr]

Удивительно, но Apple заявила, что этот метод даже безопаснее, чем TouchID: частота ошибок 1:1 000 000.

Если бы такая точность была с двух сторон, то я бы порадовался за технологию. Только вот ложно-негативные кейсы на много порядков чаще. У меня близорукость, на комфортной дистанции зрения в 15 см. распознавание срабатывает в 0% случаев. Видимо, потому что не все лицо попадает в кадр. Т.е. оно как минимум не инвариантно к количеству фич в кадре.

[darkAlert]

А есть какие-то пруфы что используется сиамская сеть? Чтобы не дообучать сеть на девайсе пользователя достаточно обучить классификатор на каком-нибудь loss из семейства SphereFace, а потом использовать предпоследний слой как Embedding. Либо я что-то не понял

[Alexufo]

Так, я что-то не понял. А где речь о 30 000 ик диодов в проекции на лицо?
Статья скорее про самсунговскую камеру, но у Apple абсолютно другая технология.

Вот более подробно
www.patentlyapple.com/patently-apple/2019/02/an-overview-of-apples-second-round-of-face-id-secrets-published-by-the-us-patent-office-this-week.html

А вот эта проекция. Там что-то типа по лазерному дальномеру в каждой точке. Отсюда получается точная карта глубины.

А вот более подробная статья о распозновании от evgeniimakarov

habr.com/ru/company/ods/blog/452894

собсна, он мне об этом и шепнул

PS. ааа… дата поста оригинала 12 марта 18 года. тогда ясно.

[Alex_ME]

Это камера глубины, наподобие Kinect, XTion и ряда других. В принципе, можно подать в аналогичную сеть карту глубины и RGB (разные подходы к совмещению RGB и данных глубины встречаются в разных задачах autonomous driving). Можно и с облаком точек работать, но такие сети я реже встречал

[Alexufo]

Не совсем верно. Кинект это стереометрия. Две и более камеры. Здесь же непосредственно маленькие ик дальномеры, снимающие каким-то образом расстояние до обьекта с большой точностью.Глубина высчитывается не свойствами машинного зрения, а датчиками измерения глубины нового типа для мобильных устройств.

[15432]

Как Kinect, так и FaceID используют миниатюрный ИК проектор, светящий облаком точек. По их расположению и вычисляется глубина объекта. Сами точки можно увидеть, например, через камеру ночного видения. Само устройство имеет дополнительную ИК камеру с германиевым фильтром для этих целей.
https://youtu.be/CEep7x-Z4wY

[Alexufo]

Да, но проектор там иснимает глубину по некому structured light алгоритму. У FaceID каждая точка — маленький лазерный дальномер, ну, как я это понял)

[15432]

Я так понял, технология та же самая. Облако точек, обычная камера и ИК камера. Тысячи лазерных дальномеров в шапке экрана iPhone звучит слишком нереалистично.

[Alexufo]

Apple's patent claims point to two illumination modes are used in Face ID with the first using a flood illumination process followed by a second illumination mode that uses multiple discrete points of illumination using a vertical-cavity surface-emitting laser (VCSEL) to determine depth.

По ссылке выше.

[onum]

Ну так и в посте используют rgb-d датасет.
Но даже, если б и не было, принцип не поменялся бы, если бы добавился новый источник данных.