Практика установки камер видеонаблюдения в городах под эгидой противодействия терроризму и предотвращения преступлений распространилась уже глобально и все набирает обороты. Например, в начале 2019 года в Москве насчитывалось более 167 тысяч камер слежения, хотя в Китае или Великобритания эту цифру могли бы посчитать смешной (для сравнения в Лондоне в 2018 году их было 642 тысячи, по Пекину актуальных данных в открытом доступе нет, но по всему Китаю сейчас работает более 176 миллионов камер).
Такое количество объективов вокруг нас невольно навевает мысли о 1984. Особенно тревожно становится, когда вспоминаешь, что развитие искусственного интеллекта вывело видеонаблюдение на новый уровень. Ведь глубокое обучение позволяет ИИ с большой точностью отличить на изображении один объект от другого. Кроме того, искусственному интеллекту не нужно спать, он не отвлекается и ничего не пропускает.
К примеру разработанное Fujitsu ПО GREENAGES Citywide Surveillance позволяет одновременно различать и отслеживать на изображении с камер сразу несколько типов объектов: транспорт, людей и объекты. Используемый в нем ИИ способен учитывать время появления объектов в кадре, количество объектов разных типов на изображении, тип, марку, модель и цвет транспорта, информацию на номерном знаке, распознавать лица и одежду людей и т.д.
Но не только слежкой за подозрительными элементами ограничивается применение видеокамер. Способность искусственного интеллекта анализировать изображения открывают новые перспективы их использования. Скажем, для маркетинговых исследований.
Если через анализ изображений с видеокамер увязать определенное покупательское поведение, например, с какой-либо возрастной группой, то в перспективе можно будет точнее удовлетворять потребности клиентов. Кроме того, с помощью глубокого обучения возможно посчитать количество людей на изображении и проследить их передвижения. В ритейле это поможет лучше понять, какие клиенты посещают магазин, определить маршруты их движения внутри торгового зала, что можно использовать для оптимизации торговых площадей.
Но широкому применению ИИ для анализа изображений с камер сейчас мешают две основные проблемы.
Рис. 1. Процесс распознавания ИИ изображения с камеры
Для начала посмотрим на сам процесс распознавания искусственным интеллектом изображения с камеры (рис. 1). Сначала камера захватывает изображение, после чего отправляет его в VMS (Video Management System, полнофункциональное ПО для управления системой видеонаблюдения), где записи хранятся, их можно посмотреть и т.д. После видеоданные передаются на компьютер, оснащенный графическим процессором, способным осуществлять их скоростную обработку. На этом этапе и применяется искусственный интеллект для анализа изображений, результаты затем выводятся в виде аналитических данных, после чего визуализируются. В перспективе, как показано на рисунке, результаты данного анализа можно будет использоваться непосредственно в бизнес-приложениях.
Чтобы данная схема работала эффективно необходимо решить следующие проблемы: обеспечить достаточный объем данных для обучения ИИ и сделать возможной быструю обработку большого объема данных.
Начнем с первой. Использование глубинного обучения, скажем, для анализа изображения машины позволяет ИИ не только понять, что объектом является машина, но также определить производителя и модель транспортного средства. Тем не менее, чтобы создать более точную модель для обучения требуется большой объем данных для обучения. Изображения машин должны быть сделаны под различными углами и при разном освещении. Таким образом, миллионы изображений могут потребоваться для определения автомобилей разных производителей и конфигураций.
Проблему получения достаточного объема данных для обучения ИИ компания Fujitsu решила с помощью технологии моделирования. Моделирование способно изменить форму теней на изображении и другие параметры, что в итоге увеличивает количество данных для обучения.
С обработкой огромного количества данных, которые передают камеры (особенно если они снимают в высоком разрешении), Fujitsu справляется при помощи облачного решения Fujitsu Technical Computing (TC) Cloud, предназначенного для высокопроизводительных вычислений и использующего графические процессоры для машинного обучения. GPU лучше подходит для обучения ИИ. Благодаря архитектуре своего ядра им проще справляться с большим количеством несложных однотипных задач и процесс обучения ИИ на графических процессорах проходит значительно быстрее.
Еще в решении проблемы могут помочь граничные вычисления, способные разделить задачу по обработке данных также между камерами и VMS, что в итоге уменьшает нагрузку.
Еще важно обеспечить непрерывную передачу видеоданных на протяжении всего процесса их сбора и анализа. Для этого Fujitsu использует наработки с тех времен, когда компания работала над системами для телевизионных вещательных станций.
Например, одно из решений для обмена видео в режиме реального времени (Real-time On-site Video Sharing) позволяет обеспечить защищенную передачу видео даже через не самые стабильные мобильные линии передачи данных. Помимо сжатия в реальном времени и передачи видео оно имеет собственную технологию контроля передачи видео, которая обеспечивает стабильную передачу даже в условиях плохого приема и в условиях низкой пропускной способности. С применением этой технологии можно, например, в реальном времени осуществлять отправку изображений с камер, установленных в транспортных средствах, в том числе и с камер с углом съемки 360°, которые передают куда как больший объем информации.
Итак, где еще можно использовать данные анализа изображений с видеокамер. На рис. 2 и рис. 3 показаны потенциальные возможности применения системы GREENAGES Citywide Surveillance в аэропортах и торговых центрах.
Рис. 2. Возможности применения GREENAGES Citywide Surveillance в аэропорту
Рис. 3. Возможности применения GREENAGES Citywide Surveillance в торговом центре
Результаты анализа изображений с камер используются в трех основных сферах: прежде всего, обеспечение безопасности, затем маркетинговые исследования и, наконец, улучшение уровня обслуживания клиентов.
Как мы уже выяснили, с помощью анализа на базе ИИ можно распознать модели автомобилей и номерные знаки. Так можно отследить какие модели автомобилей и в какое время посещают те или иные заправочные станции, определить их количество, а также увязать данные с поведением покупателей в магазинах и кафе при заправочных станциях, что дает возможность операторам станций увеличить прибыль от продажи сопутствующих товаров.
Рис. 4. Анализ изображений с камер на заправке и прилегающем кафе
На рис. 4 можно увидеть пример такого анализа. Было выяснено, что поздним вечером заправку посещает наибольшее количество автомобилей. При этом большое количество автомобилей никак не отражалось на увеличении посещения кафе при заправке. По результатам исследования было предложено разнообразить меню ужинов и дополнительно прорекламировать само кафе для посетителей заправки, чтобы увеличить посещаемость.
Еще мы можем использовать эти технологии на фудкортах в торговых центрах. Например, несложно научить искусственный интеллект отличать человека, который сидит, от человека, который стоит (рис. 5). Следовательно, у нас появляются возможности посчитать, как долго сидят за столами посетители, определить сколько мест занято и т.д.
Поскольку все шире распространяют системы мобильного заказа на фудкортах (когда посетитель заранее делает заказ через свой смартфон), в случае возникновения очередей ИИ предупреждает об этом и в приложении для заказа появляется соответствующее уведомление для клиентов с предложением альтернативных вариантов. При этом если планировка фудкорта изменится, ИИ определит новое положение сидячих мест автоматически. Определение пиков загруженности помогает заранее продумать оптимальную конфигурацию сидячих мест в зависимости от количества посетителей в тот или иной период времени.
Рис. 5. Анализ изображений с камер на фудкорте ТЦ
Как мы видим, анализ изображений с камер на базе ИИ уже достиг той стадии, когда его можно применять не только для отслеживания подозрительных лиц или предметов, но и для маркетинговых исследований и проектов. В будущем такой анализ будет использоваться для решения самых разных задач, чтобы сделать нашу жизнь безопаснее и комфортнее или, например, помочь покупателям при совершении покупок, оптимизировать практики корпоративного управления и т.д. Все-таки Большой Брат не так уж страшен, как мы привыкли о нем думать.
Такое количество объективов вокруг нас невольно навевает мысли о 1984. Особенно тревожно становится, когда вспоминаешь, что развитие искусственного интеллекта вывело видеонаблюдение на новый уровень. Ведь глубокое обучение позволяет ИИ с большой точностью отличить на изображении один объект от другого. Кроме того, искусственному интеллекту не нужно спать, он не отвлекается и ничего не пропускает.
К примеру разработанное Fujitsu ПО GREENAGES Citywide Surveillance позволяет одновременно различать и отслеживать на изображении с камер сразу несколько типов объектов: транспорт, людей и объекты. Используемый в нем ИИ способен учитывать время появления объектов в кадре, количество объектов разных типов на изображении, тип, марку, модель и цвет транспорта, информацию на номерном знаке, распознавать лица и одежду людей и т.д.
Но не только слежкой за подозрительными элементами ограничивается применение видеокамер. Способность искусственного интеллекта анализировать изображения открывают новые перспективы их использования. Скажем, для маркетинговых исследований.
Если через анализ изображений с видеокамер увязать определенное покупательское поведение, например, с какой-либо возрастной группой, то в перспективе можно будет точнее удовлетворять потребности клиентов. Кроме того, с помощью глубокого обучения возможно посчитать количество людей на изображении и проследить их передвижения. В ритейле это поможет лучше понять, какие клиенты посещают магазин, определить маршруты их движения внутри торгового зала, что можно использовать для оптимизации торговых площадей.
Но широкому применению ИИ для анализа изображений с камер сейчас мешают две основные проблемы.
Рис. 1. Процесс распознавания ИИ изображения с камеры
Для начала посмотрим на сам процесс распознавания искусственным интеллектом изображения с камеры (рис. 1). Сначала камера захватывает изображение, после чего отправляет его в VMS (Video Management System, полнофункциональное ПО для управления системой видеонаблюдения), где записи хранятся, их можно посмотреть и т.д. После видеоданные передаются на компьютер, оснащенный графическим процессором, способным осуществлять их скоростную обработку. На этом этапе и применяется искусственный интеллект для анализа изображений, результаты затем выводятся в виде аналитических данных, после чего визуализируются. В перспективе, как показано на рисунке, результаты данного анализа можно будет использоваться непосредственно в бизнес-приложениях.
Чтобы данная схема работала эффективно необходимо решить следующие проблемы: обеспечить достаточный объем данных для обучения ИИ и сделать возможной быструю обработку большого объема данных.
Начнем с первой. Использование глубинного обучения, скажем, для анализа изображения машины позволяет ИИ не только понять, что объектом является машина, но также определить производителя и модель транспортного средства. Тем не менее, чтобы создать более точную модель для обучения требуется большой объем данных для обучения. Изображения машин должны быть сделаны под различными углами и при разном освещении. Таким образом, миллионы изображений могут потребоваться для определения автомобилей разных производителей и конфигураций.
Проблему получения достаточного объема данных для обучения ИИ компания Fujitsu решила с помощью технологии моделирования. Моделирование способно изменить форму теней на изображении и другие параметры, что в итоге увеличивает количество данных для обучения.
С обработкой огромного количества данных, которые передают камеры (особенно если они снимают в высоком разрешении), Fujitsu справляется при помощи облачного решения Fujitsu Technical Computing (TC) Cloud, предназначенного для высокопроизводительных вычислений и использующего графические процессоры для машинного обучения. GPU лучше подходит для обучения ИИ. Благодаря архитектуре своего ядра им проще справляться с большим количеством несложных однотипных задач и процесс обучения ИИ на графических процессорах проходит значительно быстрее.
Еще в решении проблемы могут помочь граничные вычисления, способные разделить задачу по обработке данных также между камерами и VMS, что в итоге уменьшает нагрузку.
Еще важно обеспечить непрерывную передачу видеоданных на протяжении всего процесса их сбора и анализа. Для этого Fujitsu использует наработки с тех времен, когда компания работала над системами для телевизионных вещательных станций.
Например, одно из решений для обмена видео в режиме реального времени (Real-time On-site Video Sharing) позволяет обеспечить защищенную передачу видео даже через не самые стабильные мобильные линии передачи данных. Помимо сжатия в реальном времени и передачи видео оно имеет собственную технологию контроля передачи видео, которая обеспечивает стабильную передачу даже в условиях плохого приема и в условиях низкой пропускной способности. С применением этой технологии можно, например, в реальном времени осуществлять отправку изображений с камер, установленных в транспортных средствах, в том числе и с камер с углом съемки 360°, которые передают куда как больший объем информации.
Итак, где еще можно использовать данные анализа изображений с видеокамер. На рис. 2 и рис. 3 показаны потенциальные возможности применения системы GREENAGES Citywide Surveillance в аэропортах и торговых центрах.
Рис. 2. Возможности применения GREENAGES Citywide Surveillance в аэропорту
Рис. 3. Возможности применения GREENAGES Citywide Surveillance в торговом центре
Результаты анализа изображений с камер используются в трех основных сферах: прежде всего, обеспечение безопасности, затем маркетинговые исследования и, наконец, улучшение уровня обслуживания клиентов.
Как мы уже выяснили, с помощью анализа на базе ИИ можно распознать модели автомобилей и номерные знаки. Так можно отследить какие модели автомобилей и в какое время посещают те или иные заправочные станции, определить их количество, а также увязать данные с поведением покупателей в магазинах и кафе при заправочных станциях, что дает возможность операторам станций увеличить прибыль от продажи сопутствующих товаров.
Рис. 4. Анализ изображений с камер на заправке и прилегающем кафе
На рис. 4 можно увидеть пример такого анализа. Было выяснено, что поздним вечером заправку посещает наибольшее количество автомобилей. При этом большое количество автомобилей никак не отражалось на увеличении посещения кафе при заправке. По результатам исследования было предложено разнообразить меню ужинов и дополнительно прорекламировать само кафе для посетителей заправки, чтобы увеличить посещаемость.
Еще мы можем использовать эти технологии на фудкортах в торговых центрах. Например, несложно научить искусственный интеллект отличать человека, который сидит, от человека, который стоит (рис. 5). Следовательно, у нас появляются возможности посчитать, как долго сидят за столами посетители, определить сколько мест занято и т.д.
Поскольку все шире распространяют системы мобильного заказа на фудкортах (когда посетитель заранее делает заказ через свой смартфон), в случае возникновения очередей ИИ предупреждает об этом и в приложении для заказа появляется соответствующее уведомление для клиентов с предложением альтернативных вариантов. При этом если планировка фудкорта изменится, ИИ определит новое положение сидячих мест автоматически. Определение пиков загруженности помогает заранее продумать оптимальную конфигурацию сидячих мест в зависимости от количества посетителей в тот или иной период времени.
Рис. 5. Анализ изображений с камер на фудкорте ТЦ
Как мы видим, анализ изображений с камер на базе ИИ уже достиг той стадии, когда его можно применять не только для отслеживания подозрительных лиц или предметов, но и для маркетинговых исследований и проектов. В будущем такой анализ будет использоваться для решения самых разных задач, чтобы сделать нашу жизнь безопаснее и комфортнее или, например, помочь покупателям при совершении покупок, оптимизировать практики корпоративного управления и т.д. Все-таки Большой Брат не так уж страшен, как мы привыкли о нем думать.
