Comments 54
Было бы интересно провести сравнение с SVP.
В апреле специалисты из Nvidia показали другую технологию, добавляющую новые фрагменты к изображению – реконструкцию фотографий. Метод позволяет убрать предмет с изображения, после чего система заменит пустой фрагмент на реалистичный фон
Хорошо бы такой плагин для фотошопа!
Уже давно в фотошопе есть и судя по примерам из видео работает не хуже, говорю как человек с большим опытом работы в фотошопе. С видео тоже не впечатлен, SVP тоже строит промежуточные кадры по похожему принципу и на первый взгляд не хуже ну нужно конечно видеть сравнение именно с SVP, а не оригиналом.
Healing Brush Tool. Пользуюсь уже не один год. Результат точно не хуже чем на видяшке
С такой же скоростью?
Ну, учитывая что здесь также появлялись размытости, то да, примерно с такой же скоростью. Я уверен, они подбирали удачную картинку для видео. От этого очень много всего зависит.
Фотошоп достаточно адекватно закрашивает этой кистью. Отлично подходит для затирания текста на фото или небольших объектов.
Фотошоп достаточно адекватно закрашивает этой кистью. Отлично подходит для затирания текста на фото или небольших объектов.
Сказки не рассказывайте. Штамп как минимум еще требует выбрать зону клонирования.
Это уже дольше. Не говоря уж о том, что он копирует один в один. Из-за чего приходится зону клонирования постоянно смещать на сложной картинке. В то время как здесь результат более интеллектуальный.
Так то да, попиксельно художник сделает в 100 раз лучше. Затраты по времени просто не адекватные будут.
Мы обсуждаем тему исходя из того, что показан типичный сценарий, а не значительно лучший типичного.
А так — может это вообще фейк.
Это уже дольше. Не говоря уж о том, что он копирует один в один. Из-за чего приходится зону клонирования постоянно смещать на сложной картинке. В то время как здесь результат более интеллектуальный.
Так то да, попиксельно художник сделает в 100 раз лучше. Затраты по времени просто не адекватные будут.
они подбирали удачную картинку для видео
Мы обсуждаем тему исходя из того, что показан типичный сценарий, а не значительно лучший типичного.
А так — может это вообще фейк.
Ну, я далеко не дизайнер, а программист. И для моих целей этот инструмент действительно позволяет за секунды убрать ненужный элемент с картинки. Да, не всегда и иногда приходится что-то делать вручную.
Здесь я не увидел сообо интеллектуального варианта. Разве что фон он не выбирает, да, тут вы правы. Впрочем, он его берет просто рядом, а не придумывает, как мне кажется.
Вы может быть и обсуждаете «типичный сценарий». Я полностью уверен, что в качестве примера показан один из самых лучших результатов.
Здесь я не увидел сообо интеллектуального варианта. Разве что фон он не выбирает, да, тут вы правы. Впрочем, он его берет просто рядом, а не придумывает, как мне кажется.
Вы может быть и обсуждаете «типичный сценарий». Я полностью уверен, что в качестве примера показан один из самых лучших результатов.
Странно, что Вы как программист не видити очевидной ошибочности аргемента «его берет просто рядом».
Где он там эти глаза или брови берет?
Где он там эти глаза или брови берет?
Ок. Глаза и брови — «умная» замена. Но например в первом же примере, камень. Почему его заменили именно на землю, а не на зеленый куст? Скорее всего потому что вокруг больше земли, чем кустов.
В общем — верим заявлениям и считаем, что алгоритм именно «думает», а не просто дополняет Healing Brush Tool. Не стану спорить.
В общем — верим заявлениям и считаем, что алгоритм именно «думает», а не просто дополняет Healing Brush Tool. Не стану спорить.
Я в основном спорил не с тем что он умный. А стем что он не быстрее ручного штампа.
Я бы посмотрел, как вы с той же скоростью и качеством даже простую фотку библиотеки правите в ручном режиме. Даже без учета затрат времени на источник клонирования.
Я бы посмотрел, как вы с той же скоростью и качеством даже простую фотку библиотеки правите в ручном режиме. Даже без учета затрат времени на источник клонирования.
Мне кажется, что вариант с выбором «откуда» более правильный.
Возвращаясь к камню — что если бы я хотел на его месте увидеть именно зеленую землю, а не серую? Я бы клацнул на зеленую, а тут… неизвестно что оно подставит.
Выглядит круто и быстро, не спорю. А как оно на практике — покажет время, если оно вообще дойдет в массы.
Возвращаясь к камню — что если бы я хотел на его месте увидеть именно зеленую землю, а не серую? Я бы клацнул на зеленую, а тут… неизвестно что оно подставит.
Выглядит круто и быстро, не спорю. А как оно на практике — покажет время, если оно вообще дойдет в массы.
Полагаю, имелся ввиду не инструмент штампа, а Spot Healing Brush Tool.
Он сам выбирает область откуда брать данные и совмещает фрагменты из разных мест изображения. Принцип аналогичен тому как если выделить область и применить заливку в режиме Content Aware.
Местами результат очень похож на то, что показано в видео. Но конечно большой плюс новой нейросети, что она умеет дорисовывать изображения до типичного.
Вот замедление действительно пока не впечатляет. В редакторах давно есть неплохие плагины для этого, тоже работающие по принципу векторного поля (самый известный — Twixtor, или TimeWrap в AE). Субъективно, работают они пока получше.
Он сам выбирает область откуда брать данные и совмещает фрагменты из разных мест изображения. Принцип аналогичен тому как если выделить область и применить заливку в режиме Content Aware.
Местами результат очень похож на то, что показано в видео. Но конечно большой плюс новой нейросети, что она умеет дорисовывать изображения до типичного.
Вот замедление действительно пока не впечатляет. В редакторах давно есть неплохие плагины для этого, тоже работающие по принципу векторного поля (самый известный — Twixtor, или TimeWrap в AE). Субъективно, работают они пока получше.
UFO just landed and posted this here
В смысле кнопка: «Сделать хорошо»? :-)
Интересно насколько было оправдано в плане стоимости и энергопотребления ставить такую сеть «в железе» как сопроцессор видеокарты и результаты обучения поставлять с игрой или драйвером. Было бы неплохо получать х2 FPS
Ну и ессно можно смотреть антимехи в 24 кадра :)
Ну и ессно можно смотреть антимехи в 24 кадра :)
Думаю, в случае игр честный рендеринг игрой дополнительных кадров требует заметно меньших вычислительных ресурсов. Не говоря уже про отсутствие артефактов
Это зависит от сложности рендеринга. Если каким-то образом, какая-то железка научится преобразовывать 15fps в 60 (в реальном времени), да еще и делать это селективно (там где происходит движение), то это как минимум, сильно упростит жизнь разработчикам, которые хотят не уронить FPS на динамичных сценах с большим количеством объектов (где, обычно, и требуется максимальная вычислительная мощность видеокарты и процессора).
При условии энергоэффективной реализации это еще может очень пригодиться для онлайн-видео (я не про сайты, а в общем о видео, что тянется из сети). Вместо 60fps, можно будет стримить 10-15 и получить дополнительное сжатие раза в 2.
При условии энергоэффективной реализации это еще может очень пригодиться для онлайн-видео (я не про сайты, а в общем о видео, что тянется из сети). Вместо 60fps, можно будет стримить 10-15 и получить дополнительное сжатие раза в 2.
Подчеркну, что я не специалист в нейронных сетях, лишь предполагаю, что это может быть дополнительным вектором развития игровых видеокарт, помимо лобового наращивания ядер и мегагерц.
В случае игр это будет бесполезно из-за высокого лага.
Конечно, есть отличия между искусственно созданными замедленными видео и оригиналом, отснятым изначально с высокой частотой кадров. Это особенно заметно в сравнении с прыжком на надувной шар в бассейн от Slo Mo Guys на 54 секунде. Но если бы сравнивать было не с чем — отличить настоящее видео от «поддельного» было бы сложно.Вы не совсем поняли. Нейронная сеть замедлила в 4 раза уже снятое с высокой частотой кадров оринанальное видео — а конкретно момент сдутия шара, в то время как видео слева было показано с первоначальной скоростью. На скриншоте в статье в двух кадрах показаны разные временные точки в одном видео. То есть если бы фреймрейт оригинального видео был бы х4, то получилось бы примерно так как справа.
Примерно — да. Но динамика разная. Речь об этом. На сгенерированном шарик схлопывается плавно и равномерно.
Ну так точно так же плавно и равномерно он схлопывается и в реальном мире. Ключевые кадры — одни и те же. Всё, что делает программа — между двумя соседними кадрами вставляет ещё три, не снятых камерой из-за ограничения частоты кадров. Это единственное «отличие между искусственно созданными замедленными видео и оригиналом». А то в статье так говорится, как будто нейронная сеть другую концовку придумала.
Естественно, в сгенерированном видео могут быть отличия от того, что получилось бы в реальности, но они небольшие. Но тут уже нужно сравнивать с чем-то, снятым на такой же скорости и с выкинутыми оттуда кадрами, которые потом «пририсуются» программой.
Естественно, в сгенерированном видео могут быть отличия от того, что получилось бы в реальности, но они небольшие. Но тут уже нужно сравнивать с чем-то, снятым на такой же скорости и с выкинутыми оттуда кадрами, которые потом «пририсуются» программой.
А зачем нейронная сеть в задаче на банальную интерполяцию?
Телевизоры уж больше 10 лет как умеют добавлять кадры чтоб из 50Гц делать 200-400. Причём в режиме реального времени. Артефакты, правда, заметны. А нейросеть Нвидии способна работать в реальном времени?
кроме этого, ее еще можно использовать и для сжатия видеопотока — например, выкидывая из оригинального видео куски до тех пор, пока восстановленная часть не будет отличаться от оригинала.
Один глаз провален, другой повернут прямо к наблюдателю.
Сразу вспоминается, что такое зловещая долина.
Нейросетям можно доверить отрисовывать персонажа какого-нибудь триллера или хоррора.
UFO just landed and posted this here
А вы не сравнивайте интерполяцию с интерпретацией. Интерполяцию (расчёт промежуточных положений) хорошо делает довольно несложная математика. А вот интерпретацию (вставку отсутствующих деталей) математикой не сделать. Тут нейросети «без конкуренции», но результат в большинстве случаев работы с человеческим лицом будет «Франкенштейн». Потому что нашему глазу, натренированному на очень большой выборке лиц, малейшие огрехи очень заметны.
Хм, а в чём отличие от AMD Fluid Motion, которой уже 100 лет в обед? Сразу поясню, что плаваю в обоих темах, так что хотелось бы с обывательской точки зрения.
P.S. Видео с просторов интернетов, чтобы лишний раз не гуглить что это такое:
Сначала я офигел с первого ролика. Потом ещё больше со второго. А комментарии, где всё это называется вчерашним днём, меня совсем добили. Это круто!
Хотелось бы глянуть как эта нейросеть сделает 240 фпс из видео с игрой пианиста крупным планом на пальцах. Движения пианиста очень быстрые, пальчики бегают вверх-вниз, да еще и на контрастном фоне. Интерполяции что я видел до сих пор фэйлились на таком видео. На примере выше все относительно просто т.к. движения плавные и равномерные.
эта сетка сфейлилась на мужике с шаром и ракетке с гелем, слишком замедлила происходящее. Кнопка «я вложил тридцать квинтилион картинок, подбери какая подойдёт».
Что будет, можете увидеть, проследив за коньком падающего хоккеиста. На фоне рамки ворот, руки и номера на спине конек просто исчезает.
Гифка
Команда пока не знает, как коммерциализировать свою разработку.
Кажется очевидным — восстановление фрагментов потерянных при передаче.
Сколтех круче нейроску сделал, она вообще может полов ну лица дорисовать
Sign up to leave a comment.
Nvidia научила нейросеть замедлять видео