В Google AI продемонстрировали работу нейросети, которая переводит веб-сайты в видео. URL2Video, конвейер для автоматического преобразования в короткое видео, выполняет перевод с учетом временных и визуальных ограничений владельца контента.
Инструмент извлекает ресурсы (текст, изображения или видео) и их стили дизайна (включая шрифты, цвета, графические макеты и иерархию) из источников HTML и преобразует их в последовательность снимков на исходной странице. Затем пользователь задает параметры размеров и продолжительности ролика, и инструмент преобразует извлеченные материалы в видео.
Конвейер URL2Video определяет временное и визуальное представление каждого ресурса на основе набора эвристик, полученных в ходе интервью с дизайнерами. Эвристические методы, разработанные ими, охватывают общие стили редактирования видео, включая иерархию контента, ограничение объема информации в кадре и его продолжительности, обеспечение согласованного цвета и стиля для брендинга и многое другое.
Считывая URL-адрес веб-страницы, URL2Video извлекает информацию объектной модели документа (DOM) и мультимедийные материалы. Инструмент идентифицирует такие визуально различимые элементы как заголовок, изображение продукта, подробные описания и кнопки с призывом к действию, и захватывает подробные спецификации дизайна (теги HTML, стили CSS и отображаемые местоположения) для каждого. Затем он ранжирует группы ресурсов, присваивая каждой из них приоритет.
URL2Video автоматически ограничивает продолжительность каждого визуального элемента, чтобы зрители могли воспринимать контент. Таким образом, короткое видео выделяет наиболее важную информацию вверху страницы.
Интерфейс исследовательского прототипа позволяет пользователю просматривать атрибуты дизайна в каждом видеоролике, извлеченном из исходной страницы, переупорядочивать материалы, изменять дизайн, например цвета и шрифты, а также настраивать ограничения для создания нового видео.
Здесь демонстрируется работа URL2Video, который преобразует страницу с несколькими короткими видеоклипами в 12-секундное выходное видео:
Исследователи работают над тем, чтобы внедрить звуковую дорожку и закадровый голос при создании видео.
См. также:
