Sakhar Nov 24 2020 at 17:15

Как посмотреть плоские фильмы в 3D

7 min

7.9K

Working with video*Python*Machine learning*

+18

Comments 20

UFO just landed and posted this here

YuriM1983 Nov 25 2020 at 10:03

Те, кто успел купить дешевые 3d-телики 5 лет назад.

Evgeshha Nov 25 2020 at 22:00

могу сказать за себя, последний раз включал этот эффект году в 14, так что думаю и таким людям это не нужно

YuriM1983 Nov 26 2020 at 12:41

Подозреваю, что всё-же нужно. Недаром столько BD3D в год выходит.
Вообще, зависит от вкусов. Толк от 3d есть только при применении компьютерной анимации. Если подобное кино не интересно, то и смысл в 3d пропадает.

VPryadchenko Nov 24 2020 at 22:12

Спасибо за материал. На мой скромный взгляд результат выглядит весьма недурно.
ПС: "Идея CoordConv может также быть реализована путем генерации input — канала, содержащего координаты атомов" можно полюбопытствовать о природе этой описки?)

Sakhar Nov 24 2020 at 22:14

Спасибо, поправил. А природа простая — недавно писал статейку научную по нейросетям в материаловедении, да и сам по работе с электронным микроскопом работаю (там как раз позиции атомов фигурируют). Вот и сбился )

VPryadchenko Nov 25 2020 at 21:12

Я сам ~10 лет работал в области физики конденсированного состояния, и сначала подумал, что это я так по привычке прочитал ))
Нейросети в материаловедении весьма интересная тема — где можно ознакомиться с Вашей стетьей?
ЗЫ: у самого зависла статья в журнал по применению ИНС к анализу данных рентгеновской спектроскопии ((

Sakhar Nov 25 2020 at 22:00

Статья по идее простая, но в хороший журнал приняли, так как в науке по применению нейронок вообще все очень слабо. Вот ссылка на примерное описание, а вот сама статья. Идея в том, что для анализа СЭМ и других узких задач никто датасеты размечать не будет, поэтому можно данные синтетические нарендерить, обучить на них нейронку и она сносно работает на реальных данных

VPryadchenko Nov 26 2020 at 10:29

У меня лежит рукопись схожей по идеологии статьи, но применительно к данным XAS. К сожалению, сходу не приняли и вернули на доработку, а времени на это нет (

Вашу с удовольствием почитаю, спасибо!

Mingun Nov 24 2020 at 22:52

Не знаю насчет видео, но на
Нечто
у мутанта шевелится затылок, а лев
эпилептик
просто трясется (от страха, видимо) в лучших традициях фильмов ужасов

-1

Quiensabe Nov 25 2020 at 03:24

Здорово! Спасибо, что поделились!

Размытие в одном глазу действительно довольно заметно. По идее, можно вычислять картинку левого глаза аналитически (смещением пикселей на основе карты глубины), а на местах резких горизонтальных градиентов карты глубины — дополнительно накладывать изображение сгенерированное нейросетью (чтобы избежать артефактов). Это должно «спрятать» размытие на ровных участках фона, там, где оно как раз больше всего заметно. Не пробовали такой вариант?

Sakhar Nov 25 2020 at 15:55

Да, такой подход работает, читал что-то подобное люди из фейсбука пытались делать. Вроде оно неплохо работает. Но там ручной работы достаточно много.

Quiensabe Nov 25 2020 at 16:35

А почему много ручной работы?

Я просто на днях как раз подобную задачу решал, для одного проекта нужно было показывать стерео по одной фотографии и карте глубины, нарисованной вручную. Реализовал смещения в шейдере, работает вполне адекватно (так как это статика, а не видео, то искажения фона менее заметны).

В вашем случае единственная на мой взгляд сложность — добиться соответствия аналитически найденных смещений с работой нейросети. В идеале, конечно, можно просто считать среднее смещение массива контрольных точек, для нескольких диапазонов глубины, а потом интерполировать. Но думаю даже простая пропорция уже даст хороший результат. Надо будет попробовать.

Кстати, спасибо еще раз за статью и особенно реализацию на googleColab! Очень помогает сейчас в моей работе.

Sakhar Nov 25 2020 at 22:09

Немного неточно выразился. Изначально показалось, что сверточной нейросети должно быть очень легко научиться сдвигу по горизонтали (потому размеры сверточных фильтров вытянул по горизонтали). Но действительно, скорее всего подход с точным расчетом сдвига, а не «само обучится» лучший результат даст и размытия поменьше будет. Но и принципиальной разницы по сравнению с фейсбучным алгоритмом не особо много тогда будет

Quiensabe Nov 25 2020 at 22:34

Понял вас. Вообще довольно странно, что остается размытость.

А что, если ввести дополнительную метрику в виде соответствия уровня локального контраста, для исходного и генерируемого изображения? Не уверен правда, что это реально, я только начал изучать нейросети.

Sakhar Nov 26 2020 at 00:25

Это реально, но я в работе не очень много времени уделил построению лучшего loss function — взял среднемодульное отклонение попиксельное, структурную схожесть (ssim_loss), чтобы учесть контратст, кроме того полученное изображение прогонялось через первый слой предобусенной нейросети vgg16, который по идее должен отвечать за простые признаки типа четких границ итд. Среднее отклонение признаков тоже использовалось как компонент loss а. Но касаемо весов каждой из компонент -подробно не оптимизировал, так как обучалась сеть достаточно медленно

Quiensabe Nov 26 2020 at 22:06

Понятно. Просто подумал, что если использовать не общий признак вроде «четких границ», а именно соответствия уровня четкости правого и левого глаза, то ему можно задать гораздо больший вес. Ведь в стерео-фото картинки для глаз должны быть очень похожи по таким параметрам как четкость, цветность, контраст и т.п.

Quiensabe Nov 25 2020 at 06:23

Загрузим предобученную DenseDepth модель и добавим слои для генерации изображения для другого глаза: (что лежит в custom_objects можно посмотреть на гитхабе или kaggle).

Ссылки не работают. Поправите?

Sakhar Nov 25 2020 at 16:00

Поправил

mistergrim Nov 25 2020 at 22:15

1) зачем
2) никак

Show the best of all time