Комментарии 31
Однако каких-либо ограничений тут нет, поскольку мы сами калибруем все оптические параметры, включая искажения.
Калибруется ли зависимость от дальности, на которую сфокусировался объектив? Если да — то откуда берётся эта дальность для конкретной фотографии для последующей обработки?
Мы не меняем фокусировку внешних камер после калибровки. Изначально их калибруем по планируемому для съемок объему.
То есть, используете только объективы, у которых есть ручная фокусировка со шкалой? Когда я искал такие для Олимпуса, оказалось, что всё очень плохо — чаще всего шкала появляется только начиная со «среднего класса» — 600$ и больше. И они все тяжелые. У Кэнона с этим лучше или так же?
На объективе Canon есть переключатель AF/MF. В начале мы фокусируемся по ожидаемым максимальным габаритам объекта в режиме автофокуса (например, берем доску и делаем шот в авторежиме для каждого фотоаппарата) и потом переключаем на MF. Только после этого калибруем параметры камер.

Мы используем бюджетные модели типа Canon Rebel (цена 500-600). Сейчас отказываемся от Canon SDK и мигрируем на PTP протокол. После этого попробуем использовать бюджетные камеры и поддержим касту поклонников Nikon. Пока не было опыта работы с PTP и еще не знаем на какие грабли наступим.

Пока самый бюджетный вариант из проверенных — веб-камера Logitech HD. Качество лучше чем у RealSense RGB, но конечно хуже чем у Canon.

Коллеги из США посоветовали обратить внимание на оптику GoPro. Жалко, что стриминг цветного канала делается через полухак… Но очень хочется попробовать!

Встречался с Olympus на CES. Насколько я понимаю они присматриваются к тематике 3D реконструкции. Думаю в ближайшие пару лет мы увидим много всего интересного.
Спасибо за ответы!
В режиме MF после выключения-включения камеры фокус объектива не меняется?
И ещё вопрос — камеру калибруете сами? По какой модели? Я пытаюсь калибровать, используя многочлены 7-й степени, но никак не удаётся получить точность лучше двух пикселей (для 16-мегапиксельной матрицы). Для широкоугольного объектива это полторы угловых минуты, а для fish-eye ещё больше, для наклейки цвета подходит мало.
В MF режиме фокус не меняется.

У нас обычно погрешность от трех до пяти пикселей на Rebel T3i камере. Корректируем уже на стадии проецирования текстуры. То есть погрешность до 5 пикселей нас пока устраивает.
А сколько параметров корректируете? Мне при наложении пока удалось скорректировать только ориентацию камеры (три параметра). И то при наличии амплитудной картинки со сканера. Думаю, включить ли возможную ошибку масштаба (однородное растяжение всей фотографии). Но боюсь, что тогда в модель коррекции в конечном итоге войдут все параметры камеры и объектива — сейчас их в совокупности 14 — и у алгоритма будут отличные шансы скатиться в совсем неправильный локальный минимум.
3D модель строится из облаков точек, которые мы формируем из N сенсоров.
А здесь чем пользуетесь? Понадобился свой код, или хватило возможностей какой-нибудь из общедоступных библиотек?
В самом начале проекта использовали PCL, но после рефактора решили отказаться. Причин было несколько: 1) свой код легче расширять и поддерживать. 2) тянуть большие опенсорс библиотеки на мобильные устройства — дополнительные риски. 3) если говорить о лицензировании своего решения, то опять же нет желания разбираться в чужих лицензиях. В будущем планируем оставить только QT из внешних библиотек. Но это пока мечты, так как рук на все не хватает. Для 3д реконструкции сейчас реализовали два алгоритма — пуассон и afront для ровных поверхностей. Готовится третий. Пока noname :)
1.
Мы приценились к фотограмметрии и поняли, что лишних $100,000 долларов у нас нет. К тому же, требовались специальные навыки настройки камер и затем долгая постобработка высокополигональных данных.

На что требуется $100,000 долларов?

2. Чем ваша разработка отличаются от других пакетов для фотограмметрии? Например от agisoft.
1. Камеры DSLR, оборудование для студии (свет, штативы, синхронизация и тп), Дальше считаем стоимость пост-обработки контента * планируемое число моделей. На круг набегает.

2. Мы не используем фотограмметрию. Внешние камеры нужны для наложения текстур высокого разрешения. В целом запрос рынка следующий:

«Dear Sir\Madame,
Hi,
We are a 3d printing company from Turkey and we need an affordable 3d body scanner to produce lifelike figurines

We are interesting with DSLR camera + software solution. Actually we are trying to make body scan with Agisoft + 36 DSLR camera + post processing softwares, final result is very good but labor and time cost is huge. So please inform us about your DSLR system + software with pricing.»

Доступное, легкое в калибровке и расширяемое решение. В данном сегменте мы и планируем работать.

Фотограмметрия при должной настройке даст лучший результат при сканировании человека, но странно ее использовать если требуется снять 2000 моделей для интернет-магазина или если модель делается только для 3D печати. У всех есть свои плюсы, минусы и ниши.

Если снимать не человека, а товар для интернет-магазина, то при фотограмметрии можно обойтись и 3-4 камерами и поворотной платформой. Настраивать там особо ничего не требуется, все калибруется автоматически, при обработке.

Насчет стоимости пост-обработки — нужно только машинное время, участие человека в принципе не требуется, можно поставить обрабатываться в автоматическом режиме. А если делать с низким 3D разрешением, примерно как у вас, то скорость обработки будет вообще замечательная. При этом из исходных снимков всегда можно будет сделать и качественную модель, если потребуется.
Спасибо за информацию. Где можно посмотреть примеры сетапа, позволяющие снимать предмет со всех сторон? Например, мне требуется снять кресло. Снизу и сверху. Насколько я понимаю предложенная поворотная платформа и 3-4 камеры не решат данную проблему. 3-4 камеры позволяют снимать объект какого размера?

Проведенные эксперименты с точностью показали сильную зависимость от освещенности объекта. Другими словами — без профессиональной студии там делать нечего. Будут проблемы со сходимостью камер в автоматическом режиме. Возможно за полтора года софт уже улучшился. Но судя по отзывам клиентов калибровка системы для съемки человека занимает 4-5 часов. Это правда?

Но опять же все зависит от нужд и как потом используется контент. В приложениях/играх, интернет магазине или для 3д печати. Мы начинали с использования контента для игр и необходимый пост-продакшен после фотограмметрии равнялся стоимости производства модели с нуля.

В автоматическом режиме получаем абсолютно дикий полигонаж. При низком разрешении качество было как в играх 90х годов. Мы искали решение, которое выдает фототекстуру и адекватную сетку для возможности рига.

Да, и мы хотели снимать еще объекты со всех сторон.
Спасибо за информацию. Где можно посмотреть примеры сетапа, позволяющие снимать предмет со всех сторон? Например, мне требуется снять кресло. Снизу и сверху. Насколько я понимаю предложенная поворотная платформа и 3-4 камеры не решат данную проблему. 3-4 камеры позволяют снимать объект какого размера?

Пример сетапа показать не могу, медведь ниже был снят на 4 камеры и поворотную платформу. Есть вид и сверху и снизу, главное грамотно расставить камеры. Размер объекта может быть любым, количество камер зависит не от размера объекта, а от того сколько точек вам нужно в облаке и сколько полигонов в модели.
Но судя по отзывам клиентов калибровка системы для съемки человека занимает 4-5 часов. Это правда?

Сильно зависит от мегапиксельности, кол-ва камер, мощности компа. На тот сетап, что я написал (30-40 беззеркалок) это будет в районе 10-30 минут. На 100+ зеркалок конечно дольше, но опять же, можно просто поставить комп помощнее, или взять видеокарту помощнее (agisoft считает и на CPU и на GPU).
В автоматическом режиме получаем абсолютно дикий полигонаж. При низком разрешении качество было как в играх 90х годов. Мы искали решение, которое выдает фототекстуру и адекватную сетку для возможности рига.

В настройках можно задать нужное кол-во полигонов, которое потом будет выдаваться в автоматическом режиме, но другое дело что для игры модель все равно стоит доработать — обычно делают скульптинг, ремеш, текстуры по другому запекают, итп. Так что, если объекты не сложные, то может и правда получится, что дешевле их нарисовать с нуля, но это так для любого вида 3д сканирования, разве есть сканеры которые выдают готовую 3д модель, уже оптимизированную для игры?
Если для 3д печати, то там особо дорабатывать модель не нужно.
Понятно. Я вижу Вы высококлассный специалист в данной области. Большинство клиентов не обладают достаточными знаниями и смотрят в сторону готовых решений. Чтобы поставить и все работало.

По поводу игры и готовых моделей:

Наше решение позволяет динамически изменять степень проработки модели, редактировать текстуру и повторно ее проецировать на меш. В разработке находится возможность выделять зоны для детализации (полезно для авторига под анимацию). Конечно мы пока мы еще не сделали генерацию модели человека на 16000 полигонов без ухудшения качества и есть куда развиваться. Но уже сейчас модели экспортируется для мобильного рендера без доработки. Нормалки, спекуляр просчитываем автоматически.

Ремеш внутри программы, текстуры бьются по 2048 и пока еще в доработке оптимальные UV. Для желающих можно выгрузить в .OBJ, подправить меш скажем в Max/Maya/Zbrush и заново спроецировать текстуру через программу.
Это все есть и в Agisoft.
Но вы молодцы, продолжайте, конкуренция это всегда хорошо :)
Да, и насчет $100,000.
Для съемки человека с низким 3D разрешением, за 1 раз, без поворотной платформы, хватит 30-40 беззеркалок. Это бюджет порядка $5,000-7,000. Свет, штативы и синхронизация это еще $1,000-2,000.
А сколько стоят сенсоры Интел и сколько их надо для съемки человека в полный рост?
Подскажите пожалуйста какие фотоаппараты имеются в виду и где можно посмотреть примеры текстуры. Если брать самый дешевый Rebel, то это $600 со скидкой. (http://www.amazon.com/Canon-EOS-Rebel-T5-Professional/dp/B00J34YO92)
Итого получается $24,000. Синхронизация… Последнее решение, которое я видел было в 10 раз больше.

Пример студии — www.3dtotal.com/index_interviews_detailed.php?id=24#.VOH_vCw4cvV

Буду благодарен, если дадите ссылки на свет за $1,000-2,000. Мы видно считали оборудование другого класса и ссылки на бюджетный свет для студии за такую цену думаю не только нам будет интересен. Адекватный лайтбокс для съемок в полный рост будет стоить дороже.

Интел не продает отдельно сенсоры. Есть брать за основу сетап на базе Kinect V2, то полный рост снимается с 7 сенсоров (3*2 + 1 сверху) по цене $200. Можно не использовать DSLR, так как текстура у камеры Кинекта приличного уровня.

Я для съемки использую Nikon 1 S1 + самостоятельная доработка — подпаиваю кабель, по нему идет питание, а также по нему делается спуск затвора. Стоимость этой камеры в Москве $160. Спуск производится контроллером на ардуине.
Скрытый текст
imageСодержимое

Пример облака точек/solid/текстуры
Скрытый текст
image

Есть другие беззеркалки, где доработка не требуется, а управлять спуском можно через штатное гнездо. Но мне было удобнее сделать 1 кабель по которому и питание и управление.
Импульсный студийный свет начинается от ~5000 руб за моноблок market.yandex.ru/search.xml?&text=%D0%B8%D0%BC%D0%BF%D1%83%D0%BB%D1%8C%D1%81%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D0%BD%D0%BE%D0%B1%D0%BB%D0%BE%D0%BA&hid=90610&how=aprice&np=1
3 голов вполне достаточно, то есть свет начинается даже от $240. Лайтбокс не требуется, достаточно комнаты со светлым потолком и стенами, даже Infinite-Realities освещают так же.

Пример студии — www.3dtotal.com/index_interviews_detailed.php?id=24#.VOH_vCw4cvV

Infinite-Realities снимают модели с таким качеством www.youtube.com/watch?v=B3HIq_1SLEg
а я писал про невысокое 3D разрешение.
Если нужно качество как у них, то потребуется 100+ камер. Но Вы же сами пишите, что Вам такое качество не требуется.
Мы не такие умельцы, как Вы ;) Ищем готовые решения.

К сожалению не могу открыть примеры под «скрытым текстом». Может быть не загрузились? Пишет «image», а картинки нет. Спасибо!

Увы, но не всегда есть возможность выделить комнату. Лично нам подходит исключительно лайтбокс для опенспейса (мы разворачиваем наш сетап в объеме 3x3x3). Для сенсоров оптимально иметь несколько источников равномерного освещения. Но думаю и тут есть возможность что-то сделать своими руками. Мы проводили опрос среди потенциальных клиентов по поводу условий сканирования. Желаемый максимум — это размер кабинки как у шепифай (артек).

По ссылке пример как выглядит текстура с Canon DSLR. Это мы собирали пример мобильной 3D рекламы. Низкое разрешение 3D модели для нас является как раз плюсом, так как текстура остается высокого разрешения. Это прямой граб с iPad через тюнер.

А так?
postimg.org/image/b8vizaedv/

Полигонаж и разрешение текстур не связаны. Я могу выставить малое кол-во полигонов, а текстуры оставить такими же.
С низким полигонажем модель будет обрабатываться раз в 10 быстрее, чем на максимуме.
Качество текстур будет такое же и они накладываются быстро.
Для разработчиков Intel RealSense можно купить за $99 за сенсор + доставка (у меня получилась $33 в Москву): click.intel.com/intel-realsense-developer-kit.html. Там не сразу покупка, а что-то вроде предзаказа, через некоторое время должно прийти подтверждение с возможностью покупки.
Будет подписка на софт + роялти с модели или покупка безлимитной лицензии (на выбор). Цены пока опубликовать не могу. Согласовываем с потенциальными инвесторами/партнерами. В целом будет не дороже, чем берет Matterport для сканирования помещений ($49-$150 в месяц). А безлимитная версия будет дешевле, чем у Agisoft.

Много запросов на готовый комплект, хотя изначально мы не планировали этим заниматься, а делали решение как апгрейд для фотостудии. Сейчас просчитываем варианты для подобных бандлов. Есть еще пара месяцев, чтобы определиться.

Будет два софтверных решения — одно только для людей и выпуклых предметов. Другое для мебели и сложных предметов. Там разные алгоритмы реконструкции и клиентские сегменты не пересекаются.

Опрос западных коллег, кто занимается 3D печатью, показал, что цена мечты на весь комплекс моментального сканирования (штативы, камеры, сенсоры, компьютеры и тп) составляет ~$10,000-$12,000. Сейчас начинается демпинг. Фигурки людей продают уже по $40 (цветные) и все хотят снижать свои затраты, уменьшая время на окупаемость. Клиентов на 3D копии объективно мало, если это не проходное место типа торгового центра. Сканирующие будки стоят в десятки раз дороже. Посмотрим насколько мы уложимся в данный прайс, так как пока наша цель выйти на окупаемость и нарастить клиентскую базу. Рост темы еще впереди и успеем заработать.

Сейчас готовим совсем демократичное решение для ноутбуков Intel с сенсорами RealSense. Скан ручной или с использованием поворотного столика. Можно будет сканировать и шарить бесплатно, а экспортировать уже после активации.

Если интересует решение, то можно подписаться на бета тест через сайт www.cappasity.com или отслеживать нас через страничку на Facebook — www.facebook.com/cappasity. Мы там пишем только о продукте и показываем прогресс софта каждую неделю.

Да, это действительно проблема. В большинстве случае лечится увеличением значения параметра motiontradeoff у сенсора до 50-100. Тогда многие невидимые на depth участки будут прорабатываться. Но при этом возникнут дополнительные шумы. Их уже нужно устранять другими алгоритмами и это крайне неудобно, если использовать стандартный fusion.

Я верю, что проблему можно исправить на уровне SDK/прошивки. Так как на IR картинка совсем иная. Посмотрим будут ли апдейты по данной теме.

Кстати, если интересно, то можно посмотреть на наши эксперименты с текстурным мэппингом тут — sketchfab.com/kpopov/models
Есть и черные предметы. Снимали с девелоперского ультрабука.
Альтернативный вариант — снимать блестящие и черные места очень близко и под разными углами. Но не всегда есть возможность избежать эффекта вдавливания.
Просто сейчас, с точки зрения бизнеса, это выглядит ключевой проблемой ToF-камер: если некоторые объекты нельзя отсканировать без «вмятин», то это сильно сужает область применимости. А если черный элемент в реальности выпуклый, то мы ещё и цветовую информацию будем проецировать не туда. Сколько людей носят чёрное, процентов 20 неудачников, которые приехали — попробовали отсканироваться — и уехали ни с чем, будет?..
Мы пока не рассматриваем для фулбоди скана RealSense, так как ограничение зоны сканирования в 1 метр — крайне мало.
Если говорить о fusion скане тела или о предметах, то сенсоры испытывают проблемы со 100% черным цветом. Настройки параметров камер помогают находить решение.

Если рассматривать систему моментального сканирования, то остаются еще PrimeSense и Kinect2. Пока лучший вариант по захвату черного цвета — использование PrimeSense. У него свои проблемы, но с черным, шерстью и тп он объективно пока лучший. Опять же есть и Кинект2. Там меньше проблем с черным, но не все идеально по другим моментам.

Для каждой задачи подойдет свое железо.

Все перечисленные проблемы не являются стоперами для бизнеса. Это просто усложняет разработку, но с другой стороны снижает конкуренцию со стороны тех, кто не сможет решить эти задачки. Многие недостающие данные можно восстановить или компенсировать.

Большинство студий предупреждают клиентов по поводу одежды и аксессуаров. Даже дорогие сканеры будут испытывать проблемы с отражающими предметами. Нет ничего идеального.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.
Информация
Дата основания

18 августа 1968

Местоположение

США

Численность

5 001–10 000 человек

Дата регистрации

9 августа 2008

Блог на Хабре