Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

История одного сервера с пассивным охлаждением

Высокая производительностьПроизводство и разработка электроникиКомпьютерное железоИскусственный интеллект
Recovery mode
Иногда возникают идеи без должной проработки на начальном этапе и эти идеи за счёт убедительности их автора кажутся всем членам команды очень перспективными. Итак, некоторое время назад у группы компаний ВИТ и ComBox Technology родилась идея реализации сервера на базе множества микрокомпьютеров. Назначение сервера – исполнение нейронных сетей на CPU и GPU микрокомпьютеров. Предполагаемый форм-фактор будущего сервера – 1U, стоечный вариант. И все бы ничего, только идея включала пассивное охлаждение, так как анонсированное тепловыделение предполагаемых к использованию микрокомпьютеров было 25 Вт. Собственно, предполагаемым микрокомпьютером для реализации был выбран Intel NUC с процессором Intel Core i5 и встроенным GPU Iris Plus 655. 25 Вт, 1U, пассивное охлаждение, сервер – все это звучит ободряюще, но дальше стали всплывать нюансы.
Читать дальше →
Всего голосов 12: ↑11 и ↓1+10
Просмотры7.2K
Комментарии 44

Чипы Intel Myriad X и их масштабируемость в инференсе нейронных сетей

Высокая производительностьМашинное обучениеИскусственный интеллектПроцессоры
Из песочницы

Нейростики Intel NCS2, чипы Myriad X, решения сторонних производителей — компания Intel продвигает решения на базе Myriad X в самых различных вариантах.


Чем же так хороши эти ускорители? Во-первых, стоимостью одного FPS. Во-вторых, полной совместимостью с OpenVINO, где можно перенести существующие решения с CPU/GPU на стик или MyriadX без их доработки или дополнительной адаптации. Конечно же, адаптация это не особенность VPU, а, скорее, особенность OpenVINO, где каждая обученная сеть может работать на любой выбранной аппаратной платформе, будь то CPU, GPU, FPGA, VPU и выбор может быть сделан не до разработки, а после.
Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Просмотры2.3K
Комментарии 1

Архитектура современных систем объектовой видеоаналитики. Процесс становления или укоренившиеся со временем изъяны?

Анализ и проектирование системПроектирование и рефакторингМашинное обучениеУправление разработкойИскусственный интеллект
Текущий год – это ралли среди различных систем распознавания и детекции объектов от различных вендоров. Новые устройства для исполнения нейронных сетей: FPGA, VPU, многоядерные процессоры с VNNI и многое другое предлагается от разработчиков аппаратной части. Параллельно наблюдается рост числа доступных топологий, а также готовых предобученных сеток. Детекция инцидентов, ДТП, подсчет пассажиропотоков, построение половозрастных портретов, распознавание эмоций и многое другое сегодня доступно для разработчиков. И все было бы хорошо, если бы не замысловатый «Time to market» (быстрее, быстрее на тот самый рынок, где деньги и если не мы первые, то точно не успеем), следствием которого мы видим на выходе слабо (читай – сложно, дорого) поддерживаемые монструозные системы All-in-one. А ведь параллельно существуют архитекторы (люди), виртуализация (подходы), способы автоматизации процессов, системы контроля состояний и параметров устройства или их множества. Но ввиду сжатых сроков, это опускается и появляются те самые, описанные выше, монстры. И да, задача «быстрее в рынок», часто бывает достигнутой. Но основная ошибка на начальном этапе заключается в том, что после достижения первичных целей сегодня, требования к скорости дополнения и развития решений будут только усугубляться. Рынок-то растущий, система несовершенна и требует развития, а не шага назад и переработки proof of concept в промышленное решение. И на этом этапе проверка гипотезы уходит в продакшн.
Читать дальше →
Всего голосов 8: ↑4 и ↓40
Просмотры1.3K
Комментарии 0

Промышленные безвентиляторные ПК на базе Intel NUC в объектовой видеоаналитике

Блог компании IntelМашинное обучениеПроизводство и разработка электроникиИскусственный интеллектНастольные компьютеры
Recovery mode
Пост-призер новогоднего NUCо-конкурса Intel.

Мы в компании ComBox работаем с Intel NUC начиная с четвертого поколения и используем их для исполнения нейронных сетей в объектовой видеоаналитике. В 2014 году мы начали знакомство с модели Intel NUC4i5MYHE, потом решения были мигрированы на Intel NUC5i3RYB, сейчас применяются Intel NUC8i5BEK.

image
Пример решения на базе Intel NUC: сервер на 8 Intel NUC8i5BEK в форм-факторе 1U и Outdoor Box NUC (промышленный безвентиляторный ПК для наружного использования) на базе Intel NUC5i3RYB
Читать дальше →
Всего голосов 12: ↑11 и ↓1+10
Просмотры6.5K
Комментарии 33

Комплекс детекции курения по фото или видео на базе Intel NUC

Блог компании IntelКомпьютерное железоИскусственный интеллект
Recovery mode
Intel NUC8i5BEK

В этом посте мы расскажем о том, как решали задачу определения факта курения посредством объектовой видеоаналитики на Intel NUC. На входе – видеопотоки с камер видеонаблюдения, которые декодируются, нарезаются на вычислителе на фреймы, а далее каждый фрейм (с учетом делителя кадровой частоты) отдается нейронной сети, которая детектирует наличие факта курения и возвращает вероятность события.
Читать дальше →
Всего голосов 8: ↑7 и ↓1+6
Просмотры3.1K
Комментарии 9

Применение детектора курения на транспорте

Блог компании IntelМашинное обучениеПроизводство и разработка электроникиКомпьютерное железоИскусственный интеллект
Recovery mode


Ранее мы рассказывали про детекцию курения посредством объектовой видеоаналитики. Попробуем теперь рассмотреть практические аспекты применения данных решений и конкретные отрасли внедрения, а также их преимущества для бизнеса.

На наш взгляд самой интересной сферой применения является транспорт, в частности – каршеринг, где уже сейчас предусмотрены меры наказания в виде штрафов за курение в салонах арендованных автомобилей. Сумма штрафа варьируется в зависимости от компании от 5 до 15 тысяч рублей. Возвращаясь к сравнению объектовой видеоаналитики и датчиков, датчики не улавливают вейпы и иные приспособления для курения смесей, а также практически не чувствительны при открытых окнах автомобиля. Но это не отменяет факт нарушения и, соответственно, законного наказания в виде штрафа в соответствии с договором.
Читать дальше →
Всего голосов 10: ↑10 и ↓0+10
Просмотры2.9K
Комментарии 35

Приемы повышения производительности инференса глубоких моделей с DL Workbench. Часть 1 — введение и установка

Блог компании IntelВысокая производительностьОбработка изображенийИскусственный интеллект

Если у вас есть проект с интенсивной обработкой данных глубокими моделями (или еще нет, но вы собираетесь его создать), то вам будет полезно познакомиться с приемами по повышению их производительности и уменьшению затрат на покупку / аренду вычислительных мощностей. Тем более, что многие из приемов сейчас выполняются буквально за несколько кликов мышкой, но при этом позволяют повысить производительность на порядок. В этом посте мы рассмотрим какие оптимизации бывают, установим Docker на Windows 10 и запустим DL Workbench, измерим производительность инференса без оптимизации и с применением оных.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Просмотры1.1K
Комментарии 6

Повышение производительности инференса глубоких моделей с DL Workbench. Часть 2 — квантизация и Throughput mode

Блог компании IntelВысокая производительностьОбработка изображенийИскусственный интеллект

В первой части мы уже познакомились с тем, какие существуют методы для повышения производительности, что такое DL Workbench, как в него загрузить модель для оптимизации. Настало время познакомиться еще с двумя методами повышения производительности инференса - квантизация моделей и Throughput mode.

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Просмотры731
Комментарии 0

Как мы сделали акселератор инференса нейронных сетей для ЦОД с 64 чипами Intel Movidius

Блог компании IntelВысокая производительностьПроизводство и разработка электроникиКомпьютерное железоИскусственный интеллект

Некоторое время назад мы искали оптимальное аппаратное и программное обеспечение для исполнения нейронных сетей в ЦОД и "на краю" (edge computing). В рамках нашего исследования мы протестировали множество устройств, от процессоров до встроенной графики iGPU и GPGPU различных производителей. С результатами исследования можно ознакомиться по ссылке.

В рамках этого исследования нас заинтересовал VPU Intel Movidius (MyriadX). На его базе мы решили создать и компактное решения для исполнения "на краю", и мощный акселератор инференса для ЦОД. Что у нас из этого получилось - читайте под катом.

Читать далее
Всего голосов 11: ↑10 и ↓1+9
Просмотры2.1K
Комментарии 10

Защита моделей нейронных сетей при помощи аппаратных ключей SenseLock

Информационная безопасностьИскусственный интеллект

Нейронные сети помогают нам решать различные задачи в сфере AI и компьютерного зрения. Например, детектирование, классификация, сегментация, распознавание объектов и многие другие. Во многих случаях используются готовые предобученные модели, которые дообучаются по собственным данным разработчика для получения готового отраслевого решения. В этом случае ценность представляет как сам датасет (набор размеченных данных для дообучения), так и полученная модель. Если модель эксплуатируется у Заказчика, распространяется по лицензионной схеме и обладает достаточными для рынка показателями точности, то она сама по себе представляет ценность, так как может быть скопирована и запущена в рамках сторонних решений.

Одной из задач, которая встает на этапе деплоймента готовых решений на базе нейронных сетей – это защита разработанных и предобученных моделей от несанкционированного использования с интеграцией системы лицензирования и лимитированием сроков в варианте срочных лицензий.

Защита нейронной сети может быть физическая и юридическая. Юридическая защита обычно заключается в использовании «водяных знаков», и поможет доказать, что нейронная сеть используется не законно. Физическая защита сводится к блокировке защищенной модели. В данной статье мы рассмотрим физическую защиту на основе ключей SenseLock и фреймворка Intel OpenVINO.

Мы в своих решениях используем оптимизацию моделей и инференс (исполнение моделей) в фреймворке Intel OpenVINO. Это позволяет оптимизировать скорость исполнения нейронных сетей на всей линейке устройств Intel начиная от CPU, встроенной графики iGPU и заканчивая ускорителями VPU на базе Intel Movidius (MyriadX).

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Просмотры1.4K
Комментарии 0

Атака на Nvidia DeepStream с помощью некорректного фрейма видео в формате H264

Высокая производительностьИнформационная безопасностьGPGPUМашинное обучениеИскусственный интеллект

Nvidia DeepStream - широко известный в узких кругах инструмент для инференса на нейронных сетях и другой высокопроизводительной обработки видео-потоков в реальном времени на оборудовании от Nvidia.

Наша команда занимается разработкой и оптимизацией пайплайнов видео аналитики для работы на базе DeepStream. В текущем проекте мы обнаружили, что некоторые пайплайны виснут. В ходе расследования мы обнаружили вектор атаки, который позволяет сформировать специальный фрейм в H264, вызывающий зависание DeepStream.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Просмотры2.6K
Комментарии 3