Как за 60$ создать систему распознавания лиц с помощью Python и Nvidia Jetson Nano 2GB

[JDBiber]

В новом компьютере Jetson Nano 2GB для питания используется разъём USB-C. Адаптер питания в комплект не входит, но у вас наверняка завалялся где-то лишний.

Почти. Рекомендуемый Nvidia 3,1A

[Andy_Big]

Как за 60$ создать систему

Купить за 60$ плату и достать из кладовки еще на 150$ не самых распространенных прибамбасов :)

[IgorPie]

там $150 стоит только объектив камеры Sony Nex, причем, б/у. К нему тушка от $600, питание всего этого они изящно обошли, и так далее.
Как бы, за $750 можно и ноутбук купить

[Andy_Big]

Да не… Это я писал даже не о варианте автора, а о варианте с USB или RPi камерой. Сама камера, нормальный монитор с HDMI и тач-панелью, питалово для всего этого :)

[sirocco]

Как то дорого и много заморочек. Сколько лет уже существуют эти Джексоны? Почему нет готового дистриба, по типу как на малину, где залил образ на флеху, воткнул её в плату и всё взлетело. Отконфигурировал в гуи и работает. Порог вхождения пока ещё высок, и по цене тоже.
Кстати, у меня даже ESP32Cam с подобной задачей справляется, за 10$. В память внесено 11 лиц, успешно опознаёт, иногда, правда ошибается, иногда не успевает, там примерно 1fps… но блин, всего 10$ и залить готовый скетч 15 минут.

[rostislav-zp]

для ускорения на малине хорошо ' Coral USB Accelerator' подходит.правда и цена возрастает

[sirocco]

Возрастает? Улетает к луне, я бы сказал. Сколько он стоит, примерно 9.5тыс р? Интел NCS2, который тоже частенько прикручивают, стоит около 8 тыс. А что выгоднее по производительность/цена, сразу джексон, или всякие ускоротели с одноплатниками?

[kvasdopil]

Самая обидная деталь в этой статье, это то что собственно возможности Nvidia Jetson тут не используются — нейронка работает на CPU и показывает сравнимый перформанс на RPI4, Jetson Nano и на обычном low-end x64 компьютере.
У библиотеки есть поддержка модели CNN которая использует CUDA, но на Jetson там производительность что-то около 1 fps.

[maxood]

Ничего не понял —

возможности Nvidia Jetson тут не используются — нейронка работает на CPU

или

У библиотеки есть поддержка модели CNN которая использует CUDA, но на Jetson там производительность что-то около 1 fps.

Что вы сказать хотели?
Если все правильно собрано, то Dlib вполне нормально поддерживает CUDA/CuDNN, а говорить об FPS/sec надо в контексте кодека и разрешения.

[kvasdopil]

> Ничего не понял. Вы что сказать то хотели?
Ухх, люблю запах русской айтишной токсичности по вечерам.

Ну ничего, мы привычные, я разжую:
В статье используется библиотека face_recognition, в ней модель распознавания лиц, используемая по умолчанию, не использует GPU вообще и работает на CPU, почитайте документацию если мне не верите. В итоге у автора производительность получается на уровне 5fps, это легко заметить по видео которое вставлено в начало статьи. Разрешение там, если я правильно помню, 200x150 (т.е. 800x600 уменьшенное в 4 раза). Проблема тут в том что сравнимая производительность и на обычной RPi достижима (у меня что-то в районе 4 fps получалось) и Jetson тут особо ничего не даёт, другими словами его возможности тут не используются.

Для того, чтобы использовать GPU, нужно в параметрах вызова `face_locations` указать `model=«cnn»`. Эта модель сильно точнее, но и гораздо более требовательна к ресурсам, в итоге на Jetson при полностью загруженном GPU у меня выходил примерно 1fps.

[maxood]

Я ничего не знаю о face_recognition. Если это использует Dlib и Dlib правильно скомпилирована с поддержкой CUDA/CuDNN, то вычисления (основные) будут производиться на GPU. Соответственно, «возможности Nvidia Jetson» будут использованы.

[kvasdopil]

Вы теоретическими рассуждениями занимаетесь, а я вам говорю про реальные тесты конкретного решения, о котором рассказано в статье. Разница между RPi4 и Jetson nano в 1.5 раза, а должна быть минимум на порядок.
И проблема не в моём сетапе: github.com/ageitgey/face_recognition/issues/845

[maxood]

ОК, если это решение не работает, возьмите Dlib и готовые к ней модели на обнаружение и распознавание лиц. Вы правы, я теоретически рассуждаю относительно этой «face_recognition», но отлично понимаю, как использовать Dlib на Nvidia и Jetson'ах в том числе.

[kvasdopil]

Стало интересно, уточнил. Дело в том что по дефолту для facial feature detection используется алгоритм HOG+SVM из dlib, который не нейронка и поэтому CUDA его не ускоряет. Оттого и нет большой разницы в производительности на RPi, Jetson или x86.

Если указать опцию model=cnn то используется нейронка из dlib, которая работает на GPU, но на Jetson производительность у неё совсем никакая (ну либо я что-то делаю не так).

В общем я понял причину вашего удивления — я некорректно написал «нейронка работает на CPU», не нейронка а алгоритм, окей, сорян. В любом случае мысль была в том что статья вроде бы о том как круто делать распознавание лиц на jetson nano, но при этом собственно возможности jetson nano в статье не используются и это легко проверить самостоятельно.

[maxood]

Если указать опцию model=cnn то используется нейронка из dlib, которая работает на GPU

вы уверены, что Dlib с поддержкой CUDA собрана? Какие-нибудь подтверждения об использовании GPU получили? Через nvidia-smi, как минимум?

[kvasdopil]

>>> import dlib
>>> dlib.DLIB_USE_CUDA
True


>>> import dlib.cuda as cuda
>>> print(cuda.get_num_devices())
1


Юзал jtop. Он показывал 100% GPU и 20% CPU.

[rostislav-zp]

https://deepstack.cc/
Есть еще такая штука.тоже поддерживается, но я проверял на програмном видеорегистраторе blueiris на win10 с камерами hickvision. В принципе имея слабый комп, детекцю можно так же выносить на jetson, находящийся в локальной сети.если кому надо, могу скинуть руководство

[evr1ka]

Очень надо. Открыл данную статью, так как год уже играюсь с предыдущей нано.
Прикольно, но на взлете мануалов было мало.
Сейчас водрузил на робоплатформу, но полезли другие моменты (например моторчики без энкодеров).
И кстати занятно что в статье говорится про поддержку камеры Logitech C270. Ee тоже задействовать не удалось.

[rostislav-zp]

тут определение объектов на пк происходит, но эта библиотека точно так же настраивается и на Jetson.

Use Blue Iris + AI to trigger motion sensors

вообще этих трех видео хватает с головой.а для полного понимания достаточно просмотреть остальные видео на этих двух каналах

https://www.youtube.com/watch?v=PkRE10YPt3I

[ECRV]

Интересно сколько Jetson Nano 2GB стоит если покупать серией.
Судя по предыдущему опыту компании NVidia будет 150$

[Areso]

В России в рознице — около 9 т.р.
Серией, думаю, еще дешевле должно быть.

[ECRV]

С обычной Jetson Nano было как раз так что в серии плата стоила дороже чем единичный девкит. Такой вот маркетинговый ход. С малиной по цене все равно не сравнится.

[Areso]

Купить 100 девкитов через реселлеров?
Хотя некрасиво, да.
У Малины нет такого GPU-киллерфичи.
Кроме того нет разъема pci-e (куда можно хоть накопитель, правда 2230, хоть приличную беспроводную сеть воткнуть), и на плате все разъемы в разные стороны торчат.

[BubaVV]

www.pine64.org/rockpro64?

[sneg2015]

У меня сейчас IP камера пишет на встроенную в нее флешку видео и на жестский диск фото через роутер. Видео можно просматривать через приложение ezviz например. Подскажите какие нибудь варианты организации определения по лицу онлайн для IP камер. Возможно уже есть распространенные решения.

[Areso]

а в каких случаях это может быть полезно?

[sneg2015]

Ну к примеру камера фиксирует постоянных жителей и запоминает их, а когда появляется новое лицо, подаёт сигнал тревоги или уведомление.

[sirocco]

Онлай — имеется ввиду в реальном времени, или какой-то облачный сервис?

[S0mbre]

Согласен с комментариями о том, что в данном конкретном примере возможности Jetson не раскрываются на полную. Вообще, если уж брать джетсоны, надо сразу TX/TX2 как минимум, там уже "промышленная" производительность и такой же ценник. Но возможности этого мини-суперкомпьютера лучше всего задействовать при помощи Jetpack (стека Джетсон от производителя).