Как стать автором
Обновить

Видео: нейросеть «перекрашивает» кино под Ван Гога (Мунка, Пикассо, Кандинского, наскальную живопись)

Время на прочтение 2 мин
Количество просмотров 20K
Google уже демонстрировала, как нейросеть создаёт картины в стиле Ван Гога и Пикассо, но такой метод не подходит для видео: результат покадрового изменения фильма будет сложно склеить. Немецкие учёные справились с этой проблемой — их нейросеть распознаёт объекты в кадре, запоминает их и использует один и тот же стиль для отрисовки, когда они появляются снова.

image
Переработка кадров из фильма «Ледниковый период» в стиле «Звёздной ночи» Ван Гога

Нейронные сети обучают с помощью большого количество изображений. Каждая такая сеть состоит из ряда слоёв — от двух до 30 — с разным уровнем абстракции. Фотография или рисунок для получения конечного результата проходит через все эти слои. В июле 2015 года Google продемонстрировала, как нейросеть создаёт произведения искусства из рандомного шума.

image

В том же году в университете Тюбингена, Германия, провели эксперимент, который продемонстрировал способность нейросети подделывать художественный стиль великих мастеров — Ван Гога, Пикассо, Мунка и других. В качестве исходника используются любые изображения и фотографии. Результаты — на изображении ниже. Главным достижением авторы эксперимента посчитали возможность независимо управлять контентом и стилем в нейросети.

image

На исследование учёных из университета Тюбингена ссылаются Алексей Досовицкий, Мануэль Рудер и Томас Брокс из университета Фрайбурга, Германия. Учёные улучшили возможности нейросети для того, чтобы изменять не отдельные изображения, а видеоряд. В случае покадрового изменения объекты в каждом кадре могут быть переработаны различно, и результат будет сложно совместить. Учёные справились с этой проблемой, научив нейросеть распознавать объекты, следить за тем, чтобы их отображение не менялось слишком сильно в видео, и использовать каждый раз при их появлении один и тот же стиль.

Теги:
Хабы:
+19
Комментарии 32
Комментарии Комментарии 32

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн