Как стать автором
Обновить

Комментарии 15

1) вся суть вашей статьи, на хранилище можно запустить докер, вот это новость.
Гиперконвергентные системы — уже не новость.
2) скриншоты у вас, как будто вы фотографировали экран на телефон, не надо так.
3) собственно, на этом все технические детали и закончились.

Спрячьте статью и расширьте её пока не поздно. В целом тема интересна, но данная статья ни о чем.

Немного не так. Суть статьи в запуске агрегатора событий "с края" и с множества серверов, а также в хранении этих событий с единой точкой доступа к ним. Сейчас в подобных системах не применяется подход, когда события собираются самим СХД и СХД выступает точкой доступа. Мы применили, это удобно, поделились опытом. Конкретно наш случай — это сбор данных после инференса (события о нарушениях ПДД или в рамках проводимых ОРМ/ОРД). Контейнеры в данном случае — способ реализации. Технические детали — это то, как конфигурировался контейнер, используемое оборудование и сам подход. Если что-то не раскрыли, укажите, пожалуйста, дополним статью.


Со скриншотами — да, обновим.

Вы бы написали в начале статьи, что вы вкладываете в понятия «с краю» и инференса, а то вроде буквы знакомые, а мысль ускользает.
С краю
У меня вот сервер тоже лежит с краю стола, я все время думаю, надо бы убрать, а он так и лежит с краю.

Да, простите. "Край", "последняя миля" в контексте — устройства, расположенные в непосредственной близости от источника данных, рядом с камерой. Инференс — исполнение нейронной сети. В нашем случае — детекция транспортных средств (включая траекторный анализ), распознавание номеров, классификация марок и моделей ТС. Дополним статью.

Вы хотите сказать, что Ваше 1U устройство также как и камеры висит на столбе?
Поясните, пожалуйста, что значит:
Цель и задача этого продукта – сбор событий с множества устройств: серверов для инференса, камер или микрокомпьютеров, установленных в непосредственной близости от камер.

Нет, не так. Для инференса (исполнения нейронных сетей) применяется три типа устройств: сервера в ДЦ в стойках на Intel NUC8i5BEK в форм-факторе 1U, сервера на Intel VCA2 на платформе Supermicro 1U, камеры с установленным в них ПО (Axis, Vivotek и др.), микрокомпьютеры наружной установки (в нашем варианте это или ARM на базе FriendlyARM Nano Pi M4, или х86 UP Board Intel Atom X5). Далее, с множества устройств (например, 2 сервера, 15 камер, 30 микрокомпьютеров) требуется агрегация и хранение данных. Для этого мы выбрали СХД от QNAP.

Тогда, что из этого многообразия оборудования относится к Вашему термину «край»?
Вроде, ответ был выше: «край», «последняя миля» в контексте — устройства, расположенные в непосредственной близости от источника данных, рядом с камерой. На схеме уточнили для наглядности:

Общая схема работы гибридного инференса
Обновили скриншоты, дополнили описанием условий эксплуатации, добавили схему размещения устройств различных типов:

image
Для хранения таких объемов данных требуются уже специализированные решения.

Мы остановили свой выбор на СХД от компании QNAP

Нуууу ОК :))

Конфигурация была приведена ниже: QNAP TVS-871T, Intel Core(TM) i5-4590S CPU 3.00GHz, Version 4.4.1.1086 (2019/10/10), Linux-kernel 4.14.24-qnap, под system-docker Version:17.09.1-ce, API version: 1.32, OS/Arch: linux/amd64. Смысл в том, что требовалась агрегация с множества устройств инференса (исполнения нейронных сетей) для организации общей точки доступа и хранения больших объемов данных (событий, в нашем случае). Интеграция в QNAP через Docker-контейнеры оказалась быстрой, удобной и эффективной.

100 Гб в сутки требует специализированных решений?
«СХД укомплектовали дисками Seagate 7200 Exos 7E2 объемом 1 Tb»
Сейчас какой год на календаре, чтобы применять 1 Тб диски? И для чего?
Чтобы срубить побольше денег с заказчика?
Смысл такого решения вообще непонятен.
Стандартный 1U сервер чем не угодил?
Получится дешевле и проще в администрировании

При тестировании решения и софта, СХД укомплектовали дисками по 1 Тб. Некорректно сформулировали мысль, поправим. В продакшн требуются диски максимального объема (с максимальной плотностью их установка в рамках СХД).

Тоже ничего не понял. Кроме интересного топика ничего в статье нет. QNAP это по-моему дорогой SOHO-комбайн. Хотя бы поверхностно описали, для чего вам NUC и FriendlyARM, как
это работает и что делает ПО. Может бы кто-то и захотел купить.

Мы занимаемся объектовой видеоаналитикой. В контексте статьи — это детекция и распознавание объектов. Например, номеров транспортных средств, марок и моделей. Для этого используются сверхточные нейронные сети. В нашем случае две топологии — Darknet19 и UNET. Процесс исполнения нейронных сетей называется инференсом. Источник данных — это видеокамеры. С них поступает видеопоток RTSP Full HD 15 FPS H.264 на устройство для инференса. Это может быть устройство "на краю", микрокомпьютер, например, FriendlyARM Nano Pi M4 или UP Board, сама камера или сервер. Выбор конкретного устройства для инференса зависит от множества факторов. Как минимум — характеристик потока, размера канала (если с камеры отправлять видеопоток в ДЦ), типа камеры. Когда мы говорим о ФВФ (фото-видеофиксации), часто, канал уже есть и с множества камер гонится видеопоток на один сервер для инференса. Мы используем Intel NUC8i5BEK в форм-факторе 1U. В одном корпусе собрано 8 NUC. Таким образом мы получаем на один сервер 8 процессоров Intel Core i5, 32 физических ядра и 8 GPU Iris Plus 655. За счёт наличия CPU и GPU, часть сетей выполняется на процессоре, а часть на GPU (в нашем случае речь о детекции и распознавании номеров и марок/моделей). Результат инференса — события (мета и фото). Устройств для инференса, обычно, множество из-за уже сложившейся инфраструктуры. С этого множества нужно собирать события и это оказалось очень удобно делать напрямую с СХД. В нашем случае — QNAP.

Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.