Pull to refresh

Comments 49

Мне кажется Вы не упомянули один важный недостаток пленоптической камеры — уменьшенное относительно традиционных камер разрешение итогового изображения. Суть в том, что дополнительная информация о направлениях лучей достигается за счёт наличия субпикселей, размер которых не может быть слишком маленьким (точно так же, как и в обычной камере), в результате размер комплексного пикселя возрастает, что приводит к реалистичному итоговому разрешению матрицы порядка одного мегапикселя.
В случае с этим «зеркальным» объективом имеет место аналогичный недостаток. Итоговое разрешение — 1\9 (или даже меньше, если используется какой-то технологический резерв) от разрешения матрицы. Что как-то годится для видео в FullHD — нужна матрица в 18Mpix. а для 4К нужно уже 72MPix (примерно), что пока сложно. Опять же, больше мегапикселей — меньше их размер. Страдает светочувствительность. Ну и для фото результат в картинке чуть больше FullHD уже не приемлем (большинство фотоаппаратов как раз 24-32 Mpix).
Все верно. Разрешение теряется в 9+ раз. "+" — потому зеркальный канал и оптические системы неизбежно съедают часть изображения по краям. Это раз.

Во-вторых, нужно понимать, что некоторые алгоритмы восстановления depth-map (если таковые используются) тоже немного съедают от каждого элемента, так как для некоторых частей эелементов отсутствует соответстие на других элементах и в таких областях мы имеем «unknown» depth-map.

Первая проблема потенциально может быть решена с помощью методов супер-резолюции, ведь несмотря на потерю мегапикселей, избыточность сохраняется — мы можем использовать все 9 маленьких элементов для восстановления одного, но «большого».

Вторая проблема решается экстраполяцией или пост-фильтром с использованием исходного изображения + полученной depth-map. Так некоторые алгоритмы «понимают» карту глубин у краев и «продлевают» ее к краям, основываясь на контенте исходного изображения
Я бы ещё добавил низкую светочувствительность, ведь света попадает на конкретный пиксель намного меньше.
Тут имеет место быть прямолинейный компромисс: либо разрешение, либо размер и светочувствительность. Только у маркетологов получается улучшить и то, и другое одновременно.
да, это камера светового поля с массивом микролинз
Почти. У них действительно массив линз вместо зеркального мультипликатора, а изображения, формируемые на сенсоре — это не N уменьшенных полных фреймов, как в данном случае, а такая мозаика, каждый элемент которой содержит кусочек оригинального изображения. Соседние элементы мозаики — немного сдвинуты и т. д.

image

С точки зрения обработки всего этого добра — должно быть сложнее, наверно
Не буду палить контору, но обработка изображений полученных линзовым растром, как раз проще в силу возможности некоторых остроумных математических трюков, при этом какая-то специальная калибровка и не нужна вовсе…
А вот с зеркалами сложней и без калибровки никак, по этому и пайплайн у них другой, но недостатки…

… короче, что в растровой, что в зеркальной системе, «стерео базис» повязан на физический размер матрицы со всеми вытекающими последствиями :-) Основатель LYTRO дипломный проект свой делал используя камеру с сенсором >70мм! А более древние экспериментаторы использовали фотопластинки, для записи и воспроизведения светового поля, получалось некоторое подобие голограммы, но всё упиралось в светочувствительность, так-что зафоткать получалось разве что нить накала лампочки.
Какя-то японская группа делала массив камер и проекторов, и вроде даже получилось но не взлетело…
Объёмное изображение оказалось не нужным потребителям, дискретная перефокусировка в ограниченном объёме тоже, особенно если платить за неё приходится качеством изображения, Lytro доказало это…
… а ещё то, что математику нужно знать и любить, ведь все проблемы возникающие у устройств такого рода, расчётные и весьма ожидаемые…

Дискретную перефокусировку можно сделать очень дёшево без всех этих хитрых объективов: делать несколько кадров с разным фокусным расстоянием. Не понимаю, почему это до сих пор не реализовано.

Для студии ещё нормально, а как-то с рук и в потоке…
Нужен очень шустрый накопитель.

Моя старинная беззеркалка фирмы Сони умеет делать штук десять кадров в секунду. Много секунд подряд.
Думаю, тут скорее может быть проблема в медленной смене фокуса.

И это тоже.
Я когда-то давно хотел написать скрипт к chdk по вилке по фокусу. Остановился на том, что непонятно сколько делать кадров и с каким сдвигом.
У меня мыльница, снимаю с raw, поэтому для меня 2-3 кадра максимум.
Хотя современные камеры фокус гоняют шустро, ловить что-то в движении или схватить какой-то момент в неблагоприятных условиях с вилкой — грустно.
Что-то это мне напоминает...
image
Погуглил. Походу, компания называется R… и насколько могу понять, продукт у них не рассчитан на индивидуальных фотографов, amirite?
* посмотрел цену конкурентов с заявленными 16 виртуальными камерами, заорал, нашел на ebay старый Lytro, наверняка же железка получится бессмысленно дорогой, если учесть такой разброс цен на конкурирующие продукты и экспериментальность
Походу, компания называется R

Команда R (Опять в пролёте)?
Да, символичненько :-)
=) Нет, компания называется по-другому, и хабр не разрешит сказать, как именно.
Продукт рассчитан как раз для индивидуальных фотографов.
Существуют камеры с интегрированными в опитку/сенсор фичами с похожим функционалом, но это другая история, конечно.
Lytro — глубоко интегрированное решение. Объектив не сменить, ничего не разобрать… В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой
В данном же случае, в сумке фотографа будет просто еще один объектив, совместимый с его любимой камерой

Что-то у меня сомнения по этому поводу. Из статьи неясно, каким это образом сложное изображение, требующее постобработки (декодирования) будет фиксироваться и отображаться обычным фотоаппаратом, с обычным процессором и прошивкой. Откуда, например, у такого фотика появится возможность выбора точки постфокусировки? А если будет меняться прошивка, то есть подозрения, что в ней не хватит места, уж точно не хватит на код для работы как с обычными объективами так и со светополевыми.
UFO just landed and posted this here
Действительно, никак. Калейдоскопические изображения могут быть пред-обработаны с помощью какого-нибудь Magic Lantern для Canon, просто чтоб не сломать глаза, и, пожалуй, все. Основная обрабока — только на PC, GPU и в графических редакторах.
Просветите, пожалуйста, немного по теории (давайте пока рассмотрим упрощённый случай, т.е. монохроматический свет без рассеяния и переотражений)
1. Можно ли заменить массив линз за объективом дифракционной решеткой? Кстати, линзы можно лить в форму, будут очень средненькие, но дешевые
2. Я не понимаю, что получается с разрешением. Что на ВЧ проседает — понятно, а вот вид сименсовской снежинки (правый верхний угол тест-объекта) меня сильно смущает: общая картина характерна для дефокуса, но линию хорошего совпадения примерно под 5 градусов я объяснить не могу
3. Про проблемы: разве нельзя сделать обратную трассировку лучей со с субпиксельным сдвигом камеры (если снимать не со штатива, она есть по умолчанию при съёмке серий с минимальным интервалом), чтобы посмотреть, куда какой луч приходит?
4. Как мы восстанавливаем итоговое изображение из калейдоскопических? Это открытый или закрытый софт?
1) Насчет дифракционной решетки не подскажу, извиняйте. Была какая-то причина, почему Lytro не сделали этого, а может быть это просто дороже — гадать не буду

2) По снежинке: если вы имеете в виду совпадение на картинке с absdiff — то это всего-навсего неидеальное выравнивание двух элементов. Достаточно небольших смещений влево-вправо, чтобы «вращать» это совпадение на любой угол =) Другими словами, совпадение может означать в том числе и попадание различных лучей снежинки друг на друга.

3) и 4) Насколько я понимаю, оба вопроса о разрешении. Одна из проблем — у вас нет доступа к софту камера, то есть включение этого режима будет на совести пользователя. Если камера поддерживает сверх-разрешение нативно — прекрасно. А если нет, то пользователь, скорее всего, будет ожидать хотя бы оригинального «полного» разрешения. Простора для творчества тут предостаточно, от «в лоб» интерполяции между элементами, до всяких там machine learning алгоритмов. Возможно, существует открытый софт. Но статей и ислледований на тему super-resolution — множество. Основная идея — мы можем использовать избыточность 9 элементов.
2-3) сдвиг линз — это фу таким быть :) да, в оптоэлектронике и прототипы стоят ненормальных денег, но это не повод делать демонстрационный образец с багами. В крайнем случае в софте могли бы учесть, промерить расстояние между линзами всяко проще, чем изготовить.
Ещё есть такая неприятная штука как развисимость разрешения от угла между чертой объекта и сеткой пикселой. 9 элементов (число элементов, как я понимаю, не зависит от числа микролинз?) позволяют снизить потери под 45 градусов (на глазок — получается примерно как при шестигранном пикселе), но больше-лучше для симметричности PSF. Базовое утверждение проверить легко: печатаем сименсовскую снежинку или хотя бы ASAF test target и делаем серию снимков, после каждого немного меняя поворот мишени относительно камеры.

3-4) Да, про разрешение. К софту всегда есть ограниченный доступ: можно получить максимально тупое изображение, единственная неотключаемая опция обычно — автоматическая подстройка чувствительности отдельных пикселей. А так получили условную равку по usb3 или camera link и вдумчиво её пережёвываем. Обсуждаем всё-таки профессиональный инструмент (непрофессионалам и на смартфонах камер хватает), так что можно ожидать, что пользователь сможет прочесть инструкцию и пропустить фото (или серию, снятую с определенными правилами) через программу-две. Основной вопрос не то, как можно, а как было сделано при подготовке материала данной конкретной статьи.

Мне особенно интересно, как такая камера будет работать в гетерогенной среде, например при подводной или астрономической съёмке. Можно ли из такого подхода выдавить давно желанный phase imaging, или «стереобаза» недостаточна? Есть классический подход: если Вы делаете «не имеющую аналогов» камеру, то за деньгами на разработку надо идти или к астрономам, или к военным, из пользователей камер они наименее аккуратно считают деньги.
Небольшое замечание — линз нет ) Для того чтобы выровнять картинки здесь нужно двигать зеркала, а искажения все, к тому же, нелинейные, так что калибровка — не самая простая задача. Тем более, если это не сильно влияет на конечный результат.

Для астрономии, виртуальная базовая линия очень мала, конечно. Disparity будет практически ноль.

Насчет военных — отличная идея! Учитывая, что компания немецкая ;)
Кстати, линзы можно лить в форму, будут очень средненькие, но дешевые

Так всегда и делали, можно ещё фотопластинку через массив пинхолов засветить…
Некоторые до сих пор из шара/пластины вышлифовывают. А с пинхолами и фотопластинкой получится редкая содомия: непостоянный диаметр, форма и расстояние. Но спасибо огромное, мне тут одну идею дешево вчерне проверить надо, про такой способ моделирования матрицы я подзабыл.
Схема нового объектива непонятна. Где на ней показано многократное отражение?
Действительно, не показано. Дело в том, что нарисовать это сложно, так как нужно чертить в 3D. Например, угловые элементы результата формируются с помощью двух зеркал — верхнего и бокового. Когда в моем распоряжении окажется 3D трассировка — буду рад поделиться.
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой:
image
Надеюсь, это создаст какое-то общее впечатление…
О, блин, это существенно отличается от Литро, тут прямая аналогия с зеркальными стерео насадками и съёмкой на перекрёстных осях, но здесь искажается пространство, и в этом может-быть фича, если придумать как это обработать…
… правда возникает вопрос, возможно-ли оно в принципе, у меня есть подозрения что нет, доказывать в лом, но смысл такой, что если мы исправим геометрию крайних ракурсов в ней уже не будет той избыточности что могла-бы быть потенциально использована. Снимая на параллельных осях, мы легко можем ассоциировать воксели, хотя пространственное разрешение и зависит от базиса, массив изображений с разными базисами нам это может компенсировать. Но на перекрёстных осях этого не случится.
В качестве простого эксперимента можно заглянуть в зеркальную «трубу» с прямоугольным сечением. Картинка будет вроде такой

Мне кажется картинка должна быть другой — в центре нормальное изображение, а вокруг него световакханалия из кучи переотражений.
Совершенно верно. Картинка просто перевернутая (фоткал на телефон, по-другому не подлезть было =) )
UFO just landed and posted this here
Тема HDR не очень хорошо проработана пока что. Но можно побрэйнштормить.
Я вас спрошу скорее: если принять экспозицию как способ ограничения количества света, падающего на сенсор, можно ли создать это ограничение не длительностью захвата, а, скажем, затемняющим фильтром напротив одного из 9 элементов? Или необходимо что-то еще?
Даже если изобрести такой 9 секторный затемнящийся фильтр (помоему были опыты с ND светофильтрами на жидких кристаллах, чтоб плавно регулировать степень затемнения, то всё равно HDR проблемный будет, каждая картинка со своего угла зрения.
В результате будет эффект мультиэкспозиции с трясущимися руками, на гранях объектов будут артефакты.
Не надо штормить. всё просто, да можно затемнив один ракурс, восстановить из него пересвеченные детали другого, ну при условии что камера в курсе и допустит такой жестокий пересвет…
Но при таком раскладе, экспозиция и усиление значительны, ибо должны быть достаточны для проработки теней, и в восстановленных светах мы получим шум и размытие движения ничем не меньше чем в тенях.
При традиционной двойной экспозиции, качество светов будет выше, за счёт сокращения времени экспозиции и\или усиления.
Я просто не могу понять для кого делают такие камеры? Когда снимаешь ты же знаешь что именно ты хочешь снять? Ну вот и наводишься туда, куда нужно. Или это для тех, кто не знает что именно он сейчас снимает?
Это нужно в первую очередь для камер слежения — когда снимают двор/улицу/какое-то еще большое пространство а потом, при просмотре, можно сфокусироваться на каких-то обьектах и рассмотреть их в подробностях.
Вариантов применения несколько. Когда ты снимаешь сцену таким объективом, вся сцена в фокусе. И потом можно добавить размытие на тех глубинах, где тебе хочется и с той силой, которая отражает твою творческую задумку. Например, ты можешь искусственно сузить DoF. Также если ты часто промахиваешься мимо фокуса, ты можешь исправить это позже.
Но перефокусировка это лишь одно из приложений. Имея карту глубин, пользователь может в фотошопе применять различные фильтры для фона и объектов с минимальными затратами времени.
Ещё можно сегментировать картинку таким образом, чтобы заменять или выделять объекты на заданном диапазоне расстояний
Всё равно, непонятно. Перефокусировка реально может быть полезна разве что в репортаже/спорте. Однако любой хороший репортажник используя скоростную съёмку и активно работая фокусом с ходу выдаёт на гора массу сочных кадров, так что и выбрать бывает сложно. Ракурс бывает куда важнее в таком случае, а вот тут камера СП ничем помочь не может.
Что до постобработки и большей гибкости в этой обработке, ну не знаю… Если это ответственная съёмка то заранее делается множество кадров, как с разной глубиной резкости так и с разных ракурсов.
Репортаж+быстрый фотошоп? Ну да, современным СМИ это понравится)))
Единственное вменяемое применение — это научная съёмка. Тогда причём тут индивидуальные фотографы?
Вы правы, конечно. СП-камера можеть быть полезной, когда можно сделать всего один кадр, и с фокусом промахнуться никак нельзя. Скоростная съемка решает эту задачу. Это лишь еще один «молоток», забивающий те же гвозди. Например, если скоростная съемка не поддерживается камерой, а объект движется. Кстати, можно ли менять фокус во время скоростной съемки?

Но есть еще забавные вещи, такие как «живые картинки», когда пользователь может играть с углом зрения. Или различные Z-depth-path обработки (не уверен, что это правильный термин), как например здесь:
youtu.be/OzDJFaQtfUY?t=225

Интересно, что вы имеете в виду под научной съемкой?
Смена фокуса — хороший приём в репортаже, хорошо работающий на светосильных телеобъективах. Очень эффектно смотрится при портретной съёмке, в толпе. Позволяет буквально вырезать из пространства нужную деталь. Увы, всё это освоено ещё в доцифровую эру.
Не совсем понял ваш пример. Там векторная графика, при чём тут съёмка?
Под научной понимаю съёмку быстротекущих процессов в дорогостоящих экспериментах, краш-тестах с последующим анализом деформаций, разлётом осколков и т.д. Сейчас для этого используют несколько дорогостоящих камер, возможно их число получится сократить с помощью СП. Либо качественно улучшить анализ материала. Так же подумал про съёмку живой природы
Пример о том, что имея карту глубин, можно использовать ее как маску в графических редакторах для применения различных фильтров и эффектов. В данном случае — туман на заднем плане
Поймите уже простую вещь, карту глубины можно получать различными способами, в том числе не подразумевающими какие либо жертвы со стороны тракта изображения…
… и я сейчас не только за фотографию и кинематограф говорю, но и за всякие специальные применения которым требуется специальная техника о которой и говорить-то не всегда можно

ИМХО сильная, с практической точки зрения, сторона вашей вундервафли в её обратимости (!) обратите на это внимание, да системы с множеством камер и проекторов будут лучше, но они сложны и дороги и существуют лишь в виде концептов. А из вашей стекляшки много-бы выйти что-то реально востребованное. (я не утверждаю что так оно и будет, тут нужно думать и считать, а мне влом, наигрался я в эти игры ещё со стереоскопией, но вам грех не проверить имея живой прототип)
Чтобы убедиться, что понял вас правильно: Вы предлагаете развернуть систему на 180 градусов, поставить вместо сенсора лампу и сделать проектор? =))
Типа того, но вместо лампы матовый экранчик на который светить проектором, для соблюдения масштаба. Что бы глядя в\на стекляшку под разными ракурсами, зритель видел соответствующий ракурс, как-то так…

Only those users with full accounts are able to leave comments. Log in, please.

Articles