Comments 10
Спасибо за статью.
Я как потом в продакшн?
Весь докер переносим на сервер (Jetson) и делаем во flask АПИ интерфейс к модельке?
Я как потом в продакшн?
Весь докер переносим на сервер (Jetson) и делаем во flask АПИ интерфейс к модельке?
Спасибо, что прочли. К сожалению, данный докер не переносим, а базовый докер для Jetson, еще с багами. Как разработчики всё поправят, напишу статью о сборке под Jetson. Сейчас я просто сделал образ/дамп для Jetson, где развернул всё руками, можете поступить так же. Интерфейс — flask, asyncio и т.д., ваш любимый короче.
ок. спасибо.
Зачем вообще докер, что на джетсоне, что тут — для лишнего overhead?
Докер очень удобен для быстрого развертывания и точного воспроизведения окружения.
Шаги для развёртывания и точного вопроизведения все одинаковые + развёртывание докера + overhead(который в случае встраиваемых систем может быть очень критичен).
Вы же не будете на рабочей станции разворачивать докер всякий раз для перетренировки модели, а на встраиваемую систему jetson тащить Ubuntu Unity(которую NVidia поставляет с образом) — вам всё-равно надо делать свой образ(image) скриптами и записывать его на SD/встроенную память Jetson — ими же и воссоздаётся всё окружение и работают они минимум не медленнее.
Есть места, где докер уместен, но в данном контексте его использование выглядит делом привычки, а не оправданным техническими причинами.
upd: возможно, именно поэтому докер на jetson и отсуствует спустя годы после появления arm64 сборок(с мая 2016го, L4T 24.1)
Вы же не будете на рабочей станции разворачивать докер всякий раз для перетренировки модели, а на встраиваемую систему jetson тащить Ubuntu Unity(которую NVidia поставляет с образом) — вам всё-равно надо делать свой образ(image) скриптами и записывать его на SD/встроенную память Jetson — ими же и воссоздаётся всё окружение и работают они минимум не медленнее.
Есть места, где докер уместен, но в данном контексте его использование выглядит делом привычки, а не оправданным техническими причинами.
upd: возможно, именно поэтому докер на jetson и отсуствует спустя годы после появления arm64 сборок(с мая 2016го, L4T 24.1)
Какая в итоге получилась производительность модели на Jetson?
Просто хотел сказать спасибо за ods.ai
Sign up to leave a comment.
TensorRT 6.x.x.x — высокопроизводительный инференс для моделей глубокого обучения (Object Detection и Segmentation)