История одного сервера с пассивным охлаждением

Отдельно хотим опубликовать тесты инференса на разных типах сетей. Intel NUC8i5BEK показал себя весьма эффективно. В нашем варианте использования это детекция номерной пластины, распознавание номеров и марок моделей ТС. Получилось стабильно обрабатывать 80 потоков RTSP 15 FPS, Full HD. Далее, данные (события) со всех микрокомпьютеров через REST API собираются на едином хранилище.

Нет смысла. В предыдущих статьях есть обзор применения жидкостного охлаждения для GPU (двухфазное иммерсионное и hot pipes). Там при тепловыделении по 150 Вт и более с каждой карты смысл есть. Здесь, при использовании мобильных процессоров, проще, удобнее и дешевле — воздух.

Вопрос в том, чтобы тепло отводить максимально эффективно при наилучшей производительности. Область применения наших решений — это серверные стойки и наружная установка в непосредственной близости от камеры для исполнения нейронных сетей. Варианты интеграции с отоплением были у ASIC'ов с жидкостным охлаждением в пору популярности майнинга, но до серии эти решения так и не дошли.

В том, что они дают минимальную стоимость FPS в инференсе. Получается использовать гибридную схему инференса и параллельно исполнять несколько нейросетей. В нашем случае на CPU — детекция и распознавание номеров, на GPU — классификация марок и моделей ТС. Фактически на 1U мы получили 8 CPU Core i5, 32 физических ядра и 64 потока, 8 GPU для декодинга потоков и инференса. Конкретно в нашей задаче и с топологией сети Darknet19 (YOLO), это аналог сервера на 4 Tesla T4, но с меньшим энергопотреблением и минимум в 2 раза дешевле по стоимости.

Да, все верно. Вроде, отразили это в тексте. Версия на фото — выставочная. При открытой верхней крышке сервера "шпалы" с вентиляторами (ее достаточно устанавливать с одной стороны) не хватает, так как нарушается поток воздуха. В продакшн версии блок вентиляторов находится на наружной стороне, продувая от холодного коридора в сторону горячего (спереди назад).

Согласны, тоже задумывались об удобстве эксплуатации и сделали. На передней части сервера в продакшн версии располагается дисплей, на котором отражается информация по статусу и индикация неисправностей (внутри Nano Pi от FriendlyARM для сбора статистики и управления по GPIO).

• IPMI/BMC — мониторинг и управлением компонентами системы;
• графический OLED дисплей на передней панели с индикацией текущих состояний каждого модуля NUC, IP-адресами, нагрузки на систему, сообщений об ошибках и сбоях, температур всех и вся, оборотов вентиляторов и т.д.;
• быстрая горячая замена (Hot Swap) модулей NUC;
• быстрая горячая замена высокопроизводительных вентиляторов;
• активное управление вентиляторами по температуре с модулей NUC и дополнительных датчиков входящего и выходящего воздуха;
• избавились от обилия сетевых проводов- развели их на плате;
• установили два БП с поддержкой Power Management и возможностью горячей замены.

Схема сервера на базе 8 х Intel NUC

По сети, вход 3 Гбит (основной и резервный), внутрення маршрутизация между узлами — по 1 Гбит. Пол инференс этого хватает с запасом. 80 потоков по 4 Мбит/сек = 320 Мбит/сек на входе и по 10 потоков на каждый Intel NUC: 4 Мбит/сек * 10 потоков = 40 Мбит/сек.

Очень многогранный вопрос. Во-первых, все зависит от топологии сети. У нас это Darknet19 (YOLO), сегментация UNET. Аналогичную производительность мы получаем на четырех nVidia Tesla T4, что дороже в два раза и менее выгодно по энергопотреблению. Во-вторых, мы используем гибридный инференс. То есть одна сеть исполняется на CPU (детекция и распознавание номеров), а другая на GPU (классификация марок и моделей ТС). В-третьих, нам нужен аппаратный декодер для обработки входящего видеопотока, чтобы не загружать этим CPU. Таблица сравнений стоимости FPS (стоимость внедрения и стоимость владения) будет в следующем посте. Данные есть в том числе по nVidia GTX, RTX, Tesla, Xavier и другим решениям. Но сейчас не хватает кармы для публикации :(

Intel NUC и другие решения "на краю" мы уже применяем. В нижней части статьи показали Outdoor Box NUC, IP66, климатический модуль, температурный диапазон -40+50. Есть варианты на FriendlyARM Nano Pi M4, Upboard и другие. Выбор конкретных устройств зависит от задачи. Не везде Intel NUC будет оптимальным.

Собственно, так и есть в устройствах наружной эксплуатации. Это линейка Outdoor Box (компактные сервера для инференса на краю). Здесь был, скорее, эксперимент с прицелом на будущее и применением технологий пассивного охлаждения на Нюках восьмого поколения. В рамках стоечного корпуса надеялись на прецизионные системы охлаждения серверных, но при полученном тепловыделении это оказалось невозможным.

Полная статистика есть по 4-ому поколению Нюков в корпусах наружного исполнения с климатикой. Там около 10% с 2015 года. По 8-ому поколению за 6 месяцев тестовой эксплуатации нет ни одного вышедшего из строя (48 штук работает исправно).