На сегодняшний день защита периметра является основным приложением профессиональной видеоаналитики (если не включать в это понятие задачу распознавания номерных знаков автомобилей). В отличие от систем видеоанализа, используемых в общественных местах, периметральная видеоаналитика решает более конкретную и простую задачу — первичное обнаружение человека или транспортного средства в стерильное зоне. В нашей первой публикации в 2009 году мы рассмотрели общие проблемы периметральной видеоаналитики и оценки ее точности.
Главным отличием периметральной видеоаналитики от обыкновенного детектора движения является необходимость стабильного обнаружения объекта интереса (цели) на динамическом фоне, изменения которого обусловлены окружающей средой. Видеоаналитика не должна реагировать на изменения освещения, тени, движение растений, животных, насекомых, птиц, осадки, дрожание камеры от ветра, но при этом должна сохранить высокую чувствительность по отношению к потенциальным нарушителям периметра.
Подготовленный нарушитель может выглядеть совершенно непредсказуемо для разработчика видеоаналитики, и «заточка» детектора для снижения частоты ложных срабатываний, например, под идущего человека не обеспечит адекватной срабатывания видеоаналитики в случае, если нарушитель будет ползти или двигаться в группе людей.
Интегральный характеристикой точности видеоаналитики для периметра является показатель F1, используемых в тестах i-LIDS, который зависит от частот ошибок I и II рода, а так же от времени реакции системы. Срыв слежения за целью приводит к повторному срабатыванию, что считается ошибкой I рода. Поэтому слежение является важной составляющей периметральной видеоаналитики (в отличие от обыкновенного детектора движения).
Настоящая статья дополняет вышеуказанную публикацию современными тенденциями отрасли и более подробно рассказывает о востребованных функциях видеоаналитики в системах защиты периметра.
Главным стимулом применения сенсоров, работающих в различных диапазонах спектра, является обеспечение всепогодного режима работа и/или увеличения дальности действия камеры. На периметрах применяются фиксированные камеры ближний инфракрасной, средней тепловизионной и дальней тепловизионной областей спектра. Как показано на рисунках рис. 1-3, сенсоры формируют изображение различной информативности и требуют адаптации видеоаналитики к специфическим особенностям наблюдения в каждом диапазоне спектра. Здесь наиболее сложными задачами являются: детектирование целей при неблагоприятном соотношении сигнал/шум, слежение за слабоконтрастными целями на большой дальности (при существенной амплитуде дрожания изображения). Так же имеет место сложная отраслевая специфика: например, при мониторинге периметра железнодорожного полотна, видеоаналитика не должна реагировать на поезда и создаваемые им помехи (тени, вихри снега, сильные вибрации камеры).
Рисунок 1 Наблюдение в зоне ближней инфракрасной области спектра: велосипедист на пересеченной местности, катер на воде, человек на мосту
Рисунок 2 Наблюдение в зоне средней тепловизионной области спектра: велосипедист на пересеченной местности, катер на воде, человек на мосту
Рисутнок 3 Наблюдение в зоне дальней тепловизионной области спектра: ползущий человек на пересеченной местности, катер на воде, гребная лодка под мостом
Тенденция 2. Управление передачей видео по событиям видеоаналитики
При построении централизованной системы видеонаблюдения для географически распределенных объектов, например, для топливно-энергетического комплекса или железной дороги, возникает необходимость передачи видео и аудио данных по каналам связи с ограниченной пропускной способности. Рост числа камер, в том числе камер с высоким разрешением, существенно опережает возможности операторов связи и центров хранения данных.
Хорошая видеоаналитика позволяет выделить наиболее важные фрагменты видео для перадачи по узким каналам связи не за счет снижения качества изображения и частоты кадров, а за счет удаления фрагментов видео, не представляющих интерес пользователю.
Переход на мегапиксельные камеры является существенной тенденцией отрасли видеонаблюдения в целом, но не является заметным в задачах охраны периметра. С одной стороны, камера с сенсором 1-2 мегапиксела и хорошей оптикой позволяет увеличить дальность обнаружения угрозы до 2 раз по сравнению с сенсором стандартной четкости (0.4 мегапиксела). С другой стороны, данное преимущество только проявляется в идеальных условиях наблюдения (хорошее равномерное освещение, отсутствие осадков и дрожания камеры). При неблагоприятных условиях, мегапиксельные камеры могут работать хуже стандартных из-за меньшей эффективной площади фотоэлементов, но при этом создавать значительный объем данных с низком соотношением сигнал/шум для передачи по сети и хранения.
Рисунок 4 Сравнение кадра стандартной четкости (0.4 мегапиксела) с кадром высокой четкости (2 мегапиксела) снизу. Человек перелезает забор на расстоянии 16 от начала зоны наблюдения.
С точки зрения видеоаналитики, переход от стандартного к высокому разрешению не являются тривиальным. Большая часть систем видеоаналитики, представленная сегодня на рынке, не обеспечивает заметного преимущества по точности распознавания из-за комплекса проблем.
Во-первых, сложность видеоаналитических алгоритмов, которые не оптимизированы под высокое разрешение (HD), увеличивается нелинейным образом по отношению к числу пикселей кадра из-за ресурсоемкости операции сегментирования. Например, на одном ядре современного процессора типовая видеоаналитика обрабатывает 8 каналов CIF (кадр 352 x 288 пикселей, всего около 100 тыс. пикселей) со скоростью 8-12 кадров в секунду. Если эту аналитику применить на потоке 720p (кадр 1280 x 720, всего около 921 тыс. пикселей), то ресурсов одного процессорного ядра скорее всего не хватит даже на обработку 1 канала, из-за увеличения объема данных (числа пикслей) более чем в 9 раз, а так же увеличения затрат на обработку каждого пикселя в 2 раза (общий рост сложности – в 18 раз). Нелинейный рост сложности наблюдается в части сегментирования крупных объектов на переднем плане, если НЕ используется многомасштабное представление.
Во вторых, применение видеоаналитики на мегапиксельных камерах предполагает более точную пространственную калибровку глубины сцены с учетом нелинейных искажений оптики. При использовании приблизительных методов калибровки, применимых на камерах стандартного разрешения, видеоаналитика может ошибаться в определении масштаба и координат цели, что отразиться негативно на общих показателях точности.
Ввиду рассмотренных проблем, мегапиксельные камеры сегодня не вытесняются управляемые поворотные камеры (PTZ) на периметрах, как это происходит при наблюдении внутри помещения или в городской среде.
Наиболее распространенным детектором является сигнальная линия (tripwire), который позволяет автоматически обнаружить факт пересечения границы периметра в поле зрения камеры (рис. 5). Преимуществом видеоаналитики по сравнению с классическими средствами охраны периметра (например, радиоволновыми и вибрационными извещателям) является возможность более раннего обнаружения цели на дальнем рубеже и назначения различных приоритетов целям в зависимости от расстояния. Например, пересечение сигнальной линии вдоль ограждения TW-1 имеет более высокий приоритет, чем появление в прилегающей зоне Z-1.
Рисунок 5. Сигнальная линия (TW-1) и зона раннего обнаружения человека (Z-1)
В случае применения видеоаналитики в «полустериальной» зоне, где допускается появление ограниченного числа людей, используются элементы классификации поведения, например, детектор остановки или «праздношатания» человека, а так же классификаторы целей (человек, группа людей, транспортное средство) в зоне (рис. 5).
Система слежения за целями в поле зрения фиксированной обзорной камеры позволяют сопоставить множество предъявлений одной цели в единую траекторию и обеспечить строго одно срабатывание по каждой цели. Срывы слежения в периметральной системе приводят к повторной отправке тревожного сообщения. Это приводит к увеличению общего числа ложных срабатываний и нагрузку на оператора, как на этапе обработки оперативных данных, так и на этапе ретроспективного анализа архива. Если оператор получает «пачку» тревожных сообщений, относящимся к одному человеку, то он может не заметить появления нового человека среди избыточных данных.
В задачах охраны протяженных объектов с редкими событиями карта является основной автоматизированного рабочего места оператора. Карта позволяет быстро оценить глобальное состояние охраняемого объекта и переключиться на нужный канал видео в случае возникновения нештатной ситуации. В такой системе задача первичного обнаружения полностью перекладываются на технические средства видеоаналитики и/или периметральных извещателей, а оператора принимает решения по каждому срабатыванию детектора.
В отличие от традиционных периметральных детекторов, видеоаналитика позволяет проецировать на карту не только приблизительное местоположение нарушителя, но и траекторию его движения. Видеоаналитика может эффективно отслеживать сразу с несколько целей и выделять изображения каждой цели для компактного отображения сразу на карте. Это позволяет зафиксировать проникновение нарушителя, в случае когда «свой» и «чужой» появляются рядом.
Рисунок 6 Макет графического интерфейс пользователя с интерактивной картой. На карте отображается: а) зоны наблюдения камеры в виде трапеций; б) активная камера выделена красным цветом; в) два объекта на подступах к охраняемому рубежу.
Применение интерактивной карты создает предпосылки для внедрения многокамерной видеоаналитики, которая реализует слежение за человеком между камерами. Многокамерная видеоаналитика позволяет снизить число ложных срабатываний, обусловленных появлением людей в зонах наблюдения сразу нескольких камер и получить цельную траекторию движения людей по объекту.
При использовании купольных поворотных камер (PTZ-камер), возникают интересные задачи на стыке видеоаналитики и системы управления видео (VMS): патрулирование, выбор цели, назначение приоритета цели (при наличии нескольких целей), наведение PTZ-камер и слежение за целью при помощи PTZ-камеры. Наиболее отказоустойчивая схема слежения состоит в использовании автономного алгоритма слежения, встроенного в PTZ-камеру cпериодической коррекцией по данной обзорной камеры (например, тепловизора). Более подробно вопросы интеллектуализации PTZ-камеры освещены в отдельном хабропосте.
Схема на рис. 7. иллюстрирует архитектуру территориально-распределенной системы защиты периметра с видеоаналитикой. В примере используется выделенные IP-видеосервера аналитики MagicBox и MagicBox HD, а так же тепловизионный IP-видеосервер MagicBox Thermal для обеспечения гарантированной точности F1=0.995 вне зависимости от загрузки центрального сервера операторами. Показано применение аналоговых камер (ближнее наблюдение); тепловизоров и PTZ-камер (дальнее наблюдение) и IP-камер (ближнее и среднее наблюдение).
Рисунок 7 Схема территориально-распределенной системы защиты периметра с видеоаналитикой
IP-видеосервер реализует так же дополнительные функции: сжатие, передача видео, аудио и/или тревожных кадров; интеграция периметральных извещателей через физический интерфейсы «сухие контакты», RS232, RS485; интеграция вызывной панели и/или громкоговорителя; и управление исполнительными устройствами через релейных выход (освещением, сиреной).
IP-видеосервер опционально производит локальную запись видео и аудио на встроенный или внешний (через интерфейс USB) для работы с каналами связи ограниченной пропускной способности (от 64 Кбит/c). Если события возникают редко (менее 1% от всего времени), то качество событийного видео может быть высоким за счет пакетной (отложенной) передачи. Ключевую роль в реализации такой архитектуры является качество видеоаналитики, которая позволяет существенно сократить объем передаваемой информации по каналу связи.
Для событийной записи (включая, пред- и постсобытийную запись) можно использовать RAM-диск, что исключает износ энергонезависимой памяти типа NAND FLASH или жесткого диска.
Настройка периметральной видеоаналитики производится при помощи бесплатного приложения Менеджера устройств ONVIF.
Главным отличием периметральной видеоаналитики от обыкновенного детектора движения является необходимость стабильного обнаружения объекта интереса (цели) на динамическом фоне, изменения которого обусловлены окружающей средой. Видеоаналитика не должна реагировать на изменения освещения, тени, движение растений, животных, насекомых, птиц, осадки, дрожание камеры от ветра, но при этом должна сохранить высокую чувствительность по отношению к потенциальным нарушителям периметра.
Подготовленный нарушитель может выглядеть совершенно непредсказуемо для разработчика видеоаналитики, и «заточка» детектора для снижения частоты ложных срабатываний, например, под идущего человека не обеспечит адекватной срабатывания видеоаналитики в случае, если нарушитель будет ползти или двигаться в группе людей.
Интегральный характеристикой точности видеоаналитики для периметра является показатель F1, используемых в тестах i-LIDS, который зависит от частот ошибок I и II рода, а так же от времени реакции системы. Срыв слежения за целью приводит к повторному срабатыванию, что считается ошибкой I рода. Поэтому слежение является важной составляющей периметральной видеоаналитики (в отличие от обыкновенного детектора движения).
Настоящая статья дополняет вышеуказанную публикацию современными тенденциями отрасли и более подробно рассказывает о востребованных функциях видеоаналитики в системах защиты периметра.
Тенденция 1. Различные спектры наблюдения
Главным стимулом применения сенсоров, работающих в различных диапазонах спектра, является обеспечение всепогодного режима работа и/или увеличения дальности действия камеры. На периметрах применяются фиксированные камеры ближний инфракрасной, средней тепловизионной и дальней тепловизионной областей спектра. Как показано на рисунках рис. 1-3, сенсоры формируют изображение различной информативности и требуют адаптации видеоаналитики к специфическим особенностям наблюдения в каждом диапазоне спектра. Здесь наиболее сложными задачами являются: детектирование целей при неблагоприятном соотношении сигнал/шум, слежение за слабоконтрастными целями на большой дальности (при существенной амплитуде дрожания изображения). Так же имеет место сложная отраслевая специфика: например, при мониторинге периметра железнодорожного полотна, видеоаналитика не должна реагировать на поезда и создаваемые им помехи (тени, вихри снега, сильные вибрации камеры).
Рисунок 1 Наблюдение в зоне ближней инфракрасной области спектра: велосипедист на пересеченной местности, катер на воде, человек на мосту
Рисунок 2 Наблюдение в зоне средней тепловизионной области спектра: велосипедист на пересеченной местности, катер на воде, человек на мосту
Рисутнок 3 Наблюдение в зоне дальней тепловизионной области спектра: ползущий человек на пересеченной местности, катер на воде, гребная лодка под мостом
Тенденция 2. Управление передачей видео по событиям видеоаналитики
При построении централизованной системы видеонаблюдения для географически распределенных объектов, например, для топливно-энергетического комплекса или железной дороги, возникает необходимость передачи видео и аудио данных по каналам связи с ограниченной пропускной способности. Рост числа камер, в том числе камер с высоким разрешением, существенно опережает возможности операторов связи и центров хранения данных.
Хорошая видеоаналитика позволяет выделить наиболее важные фрагменты видео для перадачи по узким каналам связи не за счет снижения качества изображения и частоты кадров, а за счет удаления фрагментов видео, не представляющих интерес пользователю.
Тенденция 3. Мегапиксельные камеры
Переход на мегапиксельные камеры является существенной тенденцией отрасли видеонаблюдения в целом, но не является заметным в задачах охраны периметра. С одной стороны, камера с сенсором 1-2 мегапиксела и хорошей оптикой позволяет увеличить дальность обнаружения угрозы до 2 раз по сравнению с сенсором стандартной четкости (0.4 мегапиксела). С другой стороны, данное преимущество только проявляется в идеальных условиях наблюдения (хорошее равномерное освещение, отсутствие осадков и дрожания камеры). При неблагоприятных условиях, мегапиксельные камеры могут работать хуже стандартных из-за меньшей эффективной площади фотоэлементов, но при этом создавать значительный объем данных с низком соотношением сигнал/шум для передачи по сети и хранения.
Рисунок 4 Сравнение кадра стандартной четкости (0.4 мегапиксела) с кадром высокой четкости (2 мегапиксела) снизу. Человек перелезает забор на расстоянии 16 от начала зоны наблюдения.
С точки зрения видеоаналитики, переход от стандартного к высокому разрешению не являются тривиальным. Большая часть систем видеоаналитики, представленная сегодня на рынке, не обеспечивает заметного преимущества по точности распознавания из-за комплекса проблем.
Во-первых, сложность видеоаналитических алгоритмов, которые не оптимизированы под высокое разрешение (HD), увеличивается нелинейным образом по отношению к числу пикселей кадра из-за ресурсоемкости операции сегментирования. Например, на одном ядре современного процессора типовая видеоаналитика обрабатывает 8 каналов CIF (кадр 352 x 288 пикселей, всего около 100 тыс. пикселей) со скоростью 8-12 кадров в секунду. Если эту аналитику применить на потоке 720p (кадр 1280 x 720, всего около 921 тыс. пикселей), то ресурсов одного процессорного ядра скорее всего не хватит даже на обработку 1 канала, из-за увеличения объема данных (числа пикслей) более чем в 9 раз, а так же увеличения затрат на обработку каждого пикселя в 2 раза (общий рост сложности – в 18 раз). Нелинейный рост сложности наблюдается в части сегментирования крупных объектов на переднем плане, если НЕ используется многомасштабное представление.
Во вторых, применение видеоаналитики на мегапиксельных камерах предполагает более точную пространственную калибровку глубины сцены с учетом нелинейных искажений оптики. При использовании приблизительных методов калибровки, применимых на камерах стандартного разрешения, видеоаналитика может ошибаться в определении масштаба и координат цели, что отразиться негативно на общих показателях точности.
Ввиду рассмотренных проблем, мегапиксельные камеры сегодня не вытесняются управляемые поворотные камеры (PTZ) на периметрах, как это происходит при наблюдении внутри помещения или в городской среде.
Детекторы периметральной видеоаналитики
Наиболее распространенным детектором является сигнальная линия (tripwire), который позволяет автоматически обнаружить факт пересечения границы периметра в поле зрения камеры (рис. 5). Преимуществом видеоаналитики по сравнению с классическими средствами охраны периметра (например, радиоволновыми и вибрационными извещателям) является возможность более раннего обнаружения цели на дальнем рубеже и назначения различных приоритетов целям в зависимости от расстояния. Например, пересечение сигнальной линии вдоль ограждения TW-1 имеет более высокий приоритет, чем появление в прилегающей зоне Z-1.
Рисунок 5. Сигнальная линия (TW-1) и зона раннего обнаружения человека (Z-1)
В случае применения видеоаналитики в «полустериальной» зоне, где допускается появление ограниченного числа людей, используются элементы классификации поведения, например, детектор остановки или «праздношатания» человека, а так же классификаторы целей (человек, группа людей, транспортное средство) в зоне (рис. 5).
Слежение за целями
Система слежения за целями в поле зрения фиксированной обзорной камеры позволяют сопоставить множество предъявлений одной цели в единую траекторию и обеспечить строго одно срабатывание по каждой цели. Срывы слежения в периметральной системе приводят к повторной отправке тревожного сообщения. Это приводит к увеличению общего числа ложных срабатываний и нагрузку на оператора, как на этапе обработки оперативных данных, так и на этапе ретроспективного анализа архива. Если оператор получает «пачку» тревожных сообщений, относящимся к одному человеку, то он может не заметить появления нового человека среди избыточных данных.
Интерактивная карта
В задачах охраны протяженных объектов с редкими событиями карта является основной автоматизированного рабочего места оператора. Карта позволяет быстро оценить глобальное состояние охраняемого объекта и переключиться на нужный канал видео в случае возникновения нештатной ситуации. В такой системе задача первичного обнаружения полностью перекладываются на технические средства видеоаналитики и/или периметральных извещателей, а оператора принимает решения по каждому срабатыванию детектора.
В отличие от традиционных периметральных детекторов, видеоаналитика позволяет проецировать на карту не только приблизительное местоположение нарушителя, но и траекторию его движения. Видеоаналитика может эффективно отслеживать сразу с несколько целей и выделять изображения каждой цели для компактного отображения сразу на карте. Это позволяет зафиксировать проникновение нарушителя, в случае когда «свой» и «чужой» появляются рядом.
Рисунок 6 Макет графического интерфейс пользователя с интерактивной картой. На карте отображается: а) зоны наблюдения камеры в виде трапеций; б) активная камера выделена красным цветом; в) два объекта на подступах к охраняемому рубежу.
Многокамерная видеоаналитика
Применение интерактивной карты создает предпосылки для внедрения многокамерной видеоаналитики, которая реализует слежение за человеком между камерами. Многокамерная видеоаналитика позволяет снизить число ложных срабатываний, обусловленных появлением людей в зонах наблюдения сразу нескольких камер и получить цельную траекторию движения людей по объекту.
Автоматизация PTZ
При использовании купольных поворотных камер (PTZ-камер), возникают интересные задачи на стыке видеоаналитики и системы управления видео (VMS): патрулирование, выбор цели, назначение приоритета цели (при наличии нескольких целей), наведение PTZ-камер и слежение за целью при помощи PTZ-камеры. Наиболее отказоустойчивая схема слежения состоит в использовании автономного алгоритма слежения, встроенного в PTZ-камеру cпериодической коррекцией по данной обзорной камеры (например, тепловизора). Более подробно вопросы интеллектуализации PTZ-камеры освещены в отдельном хабропосте.
Архитектура распределенной видеоаналитики
Схема на рис. 7. иллюстрирует архитектуру территориально-распределенной системы защиты периметра с видеоаналитикой. В примере используется выделенные IP-видеосервера аналитики MagicBox и MagicBox HD, а так же тепловизионный IP-видеосервер MagicBox Thermal для обеспечения гарантированной точности F1=0.995 вне зависимости от загрузки центрального сервера операторами. Показано применение аналоговых камер (ближнее наблюдение); тепловизоров и PTZ-камер (дальнее наблюдение) и IP-камер (ближнее и среднее наблюдение).
Рисунок 7 Схема территориально-распределенной системы защиты периметра с видеоаналитикой
IP-видеосервер реализует так же дополнительные функции: сжатие, передача видео, аудио и/или тревожных кадров; интеграция периметральных извещателей через физический интерфейсы «сухие контакты», RS232, RS485; интеграция вызывной панели и/или громкоговорителя; и управление исполнительными устройствами через релейных выход (освещением, сиреной).
IP-видеосервер опционально производит локальную запись видео и аудио на встроенный или внешний (через интерфейс USB) для работы с каналами связи ограниченной пропускной способности (от 64 Кбит/c). Если события возникают редко (менее 1% от всего времени), то качество событийного видео может быть высоким за счет пакетной (отложенной) передачи. Ключевую роль в реализации такой архитектуры является качество видеоаналитики, которая позволяет существенно сократить объем передаваемой информации по каналу связи.
Для событийной записи (включая, пред- и постсобытийную запись) можно использовать RAM-диск, что исключает износ энергонезависимой памяти типа NAND FLASH или жесткого диска.
Настройка периметральной видеоаналитики производится при помощи бесплатного приложения Менеджера устройств ONVIF.
