Как стать автором
Обновить

Разработчик из Стэнфорда научил нейросеть находить на видео целующихся людей

Время на прочтение 2 мин
Количество просмотров 2.2K

Нейросети могут многое — идентифицировать рак, определять следы редактирования фотографий, помогать на производстве. Теперь нейросети научились еще одной очень полезной функции — определять на фотографиях целующихся людей.

Систему построили из двух основных элементов. Первый — бинарный классификатор, который способен определить наличие целующихся людей на снимке или видео. Второй — сегментатор, который выделяет и показывает все обнаруженные кадры. Результаты своей работы опубликованы автором проекта на arXiv.

Разработчик, которого зовут Амир Зиай, реализовал вой проект на основе сверточной нейросети ResNet. Это стандартный элемент в похожих проектах, который отвечает за распознавание изображений. Второй элемент базируется на сверточной нейросети VGG, которая используется еще и для анализа различных акустических характеристик разных объектов. Вторая нейросеть определяет уникальность каждого обнаруженного кадра с поцелуем.

Итоговый продукт получает на входе видеофайл, который и анализирует. На выходе получается ряд вырезанных из общего видео кадров с поцелуями, которые удалось обнаружить системе. По словам разработчика точность работы системы составляет 95%. Обучение нейросети (это необходимо для того, чтобы система могла нормально работать) производилось на голливудских фильмах. Всего нейросеть «изучила» несколько сотен фрагментов фильмов с поцелуями и еще больше кадров без поцелуев. Продолжительность кадров составила от 10 секунд до 2 минут.

Сейчас Зиай сотрудничает с Netflix, но разработчик занят в проекте, который не имеет отношения к нейросети. Насколько можно понять, нейросеть, которая умеет находить на видео целующихся людей — проект, который стал хобби. По словам экспертов, нейросеть можно использовать на самых разных стриминговых сервисах для идентификации различных эмоциональных сцен и их дальнейшего озвучивания для людей с нарушением зрения.

«Этот проект является хорошим примером того, как современные компьютерные технологии позволяют выполнять новые задачи — например, структурировать базы видеороликов, выделяя кадры с заданными действиями или объектами», — заявил Джек Кларк, представитель OpenAI.
Теги:
Хабы:
Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку
+6
Комментарии 3
Комментарии Комментарии 3

Другие новости

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн