Comments 20
могу сказать за себя, последний раз включал этот эффект году в 14, так что думаю и таким людям это не нужно
Подозреваю, что всё-же нужно. Недаром столько BD3D в год выходит.
Вообще, зависит от вкусов. Толк от 3d есть только при применении компьютерной анимации. Если подобное кино не интересно, то и смысл в 3d пропадает.

Спасибо за материал. На мой скромный взгляд результат выглядит весьма недурно.
ПС: "Идея CoordConv может также быть реализована путем генерации input — канала, содержащего координаты атомов" можно полюбопытствовать о природе этой описки?)

Спасибо, поправил. А природа простая — недавно писал статейку научную по нейросетям в материаловедении, да и сам по работе с электронным микроскопом работаю (там как раз позиции атомов фигурируют). Вот и сбился )
Я сам ~10 лет работал в области физики конденсированного состояния, и сначала подумал, что это я так по привычке прочитал ))
Нейросети в материаловедении весьма интересная тема — где можно ознакомиться с Вашей стетьей?
ЗЫ: у самого зависла статья в журнал по применению ИНС к анализу данных рентгеновской спектроскопии ((
Статья по идее простая, но в хороший журнал приняли, так как в науке по применению нейронок вообще все очень слабо. Вот ссылка на примерное описание, а вот сама статья. Идея в том, что для анализа СЭМ и других узких задач никто датасеты размечать не будет, поэтому можно данные синтетические нарендерить, обучить на них нейронку и она сносно работает на реальных данных
У меня лежит рукопись схожей по идеологии статьи, но применительно к данным XAS. К сожалению, сходу не приняли и вернули на доработку, а времени на это нет (

Вашу с удовольствием почитаю, спасибо!

Не знаю насчет видео, но на
Нечто
у мутанта шевелится затылок, а лев
эпилептик
просто трясется (от страха, видимо) в лучших традициях фильмов ужасов

Здорово! Спасибо, что поделились!

Размытие в одном глазу действительно довольно заметно. По идее, можно вычислять картинку левого глаза аналитически (смещением пикселей на основе карты глубины), а на местах резких горизонтальных градиентов карты глубины — дополнительно накладывать изображение сгенерированное нейросетью (чтобы избежать артефактов). Это должно «спрятать» размытие на ровных участках фона, там, где оно как раз больше всего заметно. Не пробовали такой вариант?
Да, такой подход работает, читал что-то подобное люди из фейсбука пытались делать. Вроде оно неплохо работает. Но там ручной работы достаточно много.
А почему много ручной работы?

Я просто на днях как раз подобную задачу решал, для одного проекта нужно было показывать стерео по одной фотографии и карте глубины, нарисованной вручную. Реализовал смещения в шейдере, работает вполне адекватно (так как это статика, а не видео, то искажения фона менее заметны).

В вашем случае единственная на мой взгляд сложность — добиться соответствия аналитически найденных смещений с работой нейросети. В идеале, конечно, можно просто считать среднее смещение массива контрольных точек, для нескольких диапазонов глубины, а потом интерполировать. Но думаю даже простая пропорция уже даст хороший результат. Надо будет попробовать.

Кстати, спасибо еще раз за статью и особенно реализацию на googleColab! Очень помогает сейчас в моей работе.
Немного неточно выразился. Изначально показалось, что сверточной нейросети должно быть очень легко научиться сдвигу по горизонтали (потому размеры сверточных фильтров вытянул по горизонтали). Но действительно, скорее всего подход с точным расчетом сдвига, а не «само обучится» лучший результат даст и размытия поменьше будет. Но и принципиальной разницы по сравнению с фейсбучным алгоритмом не особо много тогда будет
Понял вас. Вообще довольно странно, что остается размытость.

А что, если ввести дополнительную метрику в виде соответствия уровня локального контраста, для исходного и генерируемого изображения? Не уверен правда, что это реально, я только начал изучать нейросети.

Это реально, но я в работе не очень много времени уделил построению лучшего loss function — взял среднемодульное отклонение попиксельное, структурную схожесть (ssim_loss), чтобы учесть контратст, кроме того полученное изображение прогонялось через первый слой предобусенной нейросети vgg16, который по идее должен отвечать за простые признаки типа четких границ итд. Среднее отклонение признаков тоже использовалось как компонент loss а. Но касаемо весов каждой из компонент -подробно не оптимизировал, так как обучалась сеть достаточно медленно

Понятно. Просто подумал, что если использовать не общий признак вроде «четких границ», а именно соответствия уровня четкости правого и левого глаза, то ему можно задать гораздо больший вес. Ведь в стерео-фото картинки для глаз должны быть очень похожи по таким параметрам как четкость, цветность, контраст и т.п.
Загрузим предобученную DenseDepth модель и добавим слои для генерации изображения для другого глаза: (что лежит в custom_objects можно посмотреть на гитхабе или kaggle).
Ссылки не работают. Поправите?
Only those users with full accounts are able to leave comments. Log in, please.