Pull to refresh
41
Karma
0
Rating
Андрей Бибичев @bibigone

User

  • Followers 7
  • Following 6

На пороге дополненной реальности: к чему готовиться разработчикам (часть 2 из 3)

Лично у меня опыт только с готовыми устройствами: WiiMote, WiiMotionPlus, Sony Move. Когда изучал как обрабатывать данные с датчиков, натыкался на большое количество статей и видео, где народ собирает сам. Но это всё были западные случаи. На сколько легко купить комплектующие у нас — не знаю.

То, о чем Вы пишите, обычно делают не при помощи датчиков, а при помощи обработки видео. Это широкоизвестная задача восстановления движения камеры по видео, снятому этой камерой. Большинство голливудских спецэффектов делается именно так. Про это кратко написано в разделе «True Optical: one moving camera» части 3.

На пороге дополненной реальности: к чему готовиться разработчикам (часть 3 из 3)

Это стенограмма, т.е. текс, записанный по видео доклада. Значит такая бедная и примитивная у меня речь… Стас, писавший стенограмму, и так говорит, что 90% слов-паразитов («ну», «вот» и т.п.) убрал. Дальше решили не причесывать, чтобы было похоже на запись живого выступления. Поэтому некоторые несуразности остались.

На пороге дополненной реальности: к чему готовиться разработчикам (часть 1 из 3)

Торможу… Действительно была пропущена буква «с». Поправил.

На пороге дополненной реальности: к чему готовиться разработчикам (часть 1 из 3)

От слова «популизм». Можно было бы сказать, наверное, и «попсовый».

На пороге дополненной реальности: к чему готовиться разработчикам (часть 1 из 3)

Понял. Спасибо за дельное замечание. Отказался от горизонтальных таблиц с картинками (делал для компактности материала) в пользу вертикального расположения. Теперь должно быть приемлемо во всех браузерах и разрешениях.

Так ты, значит, хотел быть программистом…

Можно подумать, что у «не-программистов» жизнь содержательнее:

«Меня втолкнут в крохотную клетушку с компьютерным терминалом. На экране будут два графика – «USD/EUR» и «EUR/USD» – такие же, как на форексе. По бокам от монитора будут лежать две банкноты, подаренные мне правительствами США и Объединенной Европы – сто долларов и сто евро. Мои деньги. Я сяду за терминал («все садятся сами», сказал следователь), – а дальше начнется моя вечная мука.
Когда вверх пойдет доллар, я буду глядеть на «EUR/USD» и страшно кричать, видя, как падают в цене мои евро. А когда вверх пойдет евро, я будут глядеть на «USD/EUR» и страшно кричать, видя, как падают в цене мои доллары. Я буду глядеть то налево, то направо, и все время кричать.»


© Пелевин

Игровой контроллер Kinect – первое на рынке устройство для прямого трехмерного измерения

Действительно, в отличие от ZCam, Kinect не использует принцип time-of-light, а базируется всё на той же доброй стереометрии, только вместо двух камер используется источник структурированной подсветки и камера. Поэтому в нем три «дырки» :) А именно: источник структурированной подсветки в ИК-диапазоне, видеокамера (чтобы давать обычную RGB-картинку) и ИК-сенсор (чтобы определять положение пятен подсветки).

Вот на этом видео хороша видна структура ИК-подсветки: http://www.youtube.com/watch?v=nvvQJxgykcU

Дальше работает триангуляция и ровно из-за этого на карте глубины образуются своеобразные «тени»: http://media.zero997.com/kinect_shadow.pdf

Кстати, как это не странно, но даже не смотря на такой подход народ умудряется использовать несколько Kinect-ов сразу. Казалось бы, они должны между собой интерферировать, но на самом деле это проявляется не так уж и сильно: http://www.youtube.com/watch?v=5-w7UXCAUJE

P.S. На этой wiki-страничке можно найти самые разнообразные и интересные видео по тому, что народ делает при помощи Kinect: http://openkinect.org/wiki/Gallery

Непрерывное wavelet преобразование

В формуле оконного преобразования Фурье опечатки: должно быть везде тау вместо x, раз уж интегрирование идет по тау, т.е. f(x) -> f(tau) и exp(-i*x*w) -> exp(-i*tau*w).

«Захват движения» от iPi Soft

К сожалению, даже маркерный Full Body MoCap пока не дорос до того, чтобы отследить состояние отдельных мышц (например, напряжен бицепс или нет). Это сейчас делают только для лица, но это отдельный софт (я о нем написал ниже в комментариях).

«Захват движения» от iPi Soft

Безусловно в результате переноса может получиться неправдападобный результат: например, борец сумо, бегающий как спринтер. Поэтому желательно, чтобы актер и 3d-модель персонажа были сопоставимых комплекций. Но в кино, играх, 3d-мультфильмах, это, действительно далеко не всегда соблюдается.

Всё же это вспомогательная технология, которая не призвана заменить актеров, а призвана облегчить труд 3d-аниматоров. Это как результат цифровой фотографии да еще обработанной в PhotoShop-е сравнивать с картиной художника…

«Захват движения» от iPi Soft

На выходе маркерных систем захвата движений ровно те же самые данные, а именно анимация скелета (положение в пространстве центральной кости и углы вращения всех остальных). Здесь нет никакой разницы используются ли маркеры или нет.

Что же касается скульптур, то это вопрос модели персонажа, к которой будет применена анимация. Модели делают совсем в других программных продуктах. Так что аналогия со скульптурами не совсем корректна — скульптуры статичны, а в MoCap-е вся соль в передаче реалистичности движения, т.е. динамики.

Две недели до Application Developer Days

Могу подвинуться, если надо :) Программный комитет все еще в поисках новых талантов. Так что давайте больше заявок с интересными докладами — тогда и я смогу послушать кого-нить кроме себя…

«Захват движения» от iPi Soft

:) Либо все будут с каменными лицами a la Арнольд, как в этом коротеньком мультике, сделанным с использованием iPi DMC.

«Захват движения» от iPi Soft

Хорошая демка возможностей Kinekt. Именно её до этого я не видел. Спасибо за наводку!

У Kinekt-а есть свои ограничения: во-первых, он ориентирован на распознавание, так сказать, трехмерных жестов для игр, а не на точный захват движений во всех подробностях и тонкостях; во-вторых, у него очень маленький Capture Volume (объем, в котором актер может двигаться), так что, чтобы снять ходьбу или бег, придется использовать соответствующий тренажер; в-третьих, пока это всё исключительно для игр и до конца не понятно, можно ли это будет приспособить для задач более широкого круга. При этом всем у него масса достоинств, включая невысокую цену и исключительную простоту использования.

В любом случае, эта Kinekt только в плюс индустрии Motion Capture, так как и популяризирует её, и наглядно показывает, что это может быть доступно почти всем. А то сейчас очень тяжело пробить стереотип, что MoCap — это очень дорого и геморройно, так как до этого были только дорогие решения типа Vicon, где цена стартует с 60 тыс. долларов.

Возвращаясь к вопросу :) В iPi DMC тоже можно отслеживать нескольких актеров, если они не в тесном контакте друг с другом. Т.е. бальные танцы — нет, а бесконтактный спаринг — да.

«Захват движения» от iPi Soft

Насколько мне известно, у Миши аккаунта на Хабре нет.

«Захват движения» от iPi Soft

Действительно, распознавание движений производится на основе «встроенного» в программу скелета (приближенного к анатомическому, но с некоторыми упрощениями). Дальше можно загрузить другой скелет (человекоподобный, т.е. с двумя ногами, двумя руками) — будет выполнен автоматический перенос движений (motion transfer) со скелета на скелет, так что результирующая анимация будет уже с требуемым вам персонажем и его пропорциями.

«Захват движения» от iPi Soft

На данный момент с мимикой никак. Мы планируем её сделать, но в виде отдельного софта и не раньше чем через год. Все дело в том, что разрешения камер не хватает, чтобы выполнить и захват движения всего тела, и различить мимику актера. Как правило, используют дополнительные камеры, вывешенные на кранштейне перед лицом актера: как при съемках Аватара.

Если кому прямо сейчас нужен безмаркерный захват лицевой анимации, то советуем посмотреть в сторону Di-O-Matic Maskarad и Image Metrics Faceware.

Конференция по гибким методологиям в Москве: AgileDays'09

В прошлом году было бесплатно. Есть видео и презентации: например, в этом отчете. Есть надежда, что в этом году тоже получится организовать видео-съемку.

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity