Недавняя публикация на одном из популярных сайтов Рунета подтолкнула меня к тому, чтобы сделать небольшой обзор современного состояния технологий так называемого иммерсивного («объемного», 3D 360°), видео. Для тех, кто, возможно, подобного еще никогда не видел, в двух словах это можно описать как Google Street View, только вместо статичных фото используется видео.
Иммерсивное видео – видеозапись реального места/события, предусматривающая одновременную съемку изображения во всех направлениях (с охватом до 90..96% условной сферы вокруг камеры, кроме ее стойки). При проигрывании позволяет зрителю управлять (мышью, с помощью touch-screen или поворотом головы в случае использования специальных очков) направлением наблюдения, степенью приближения, а также скоростью показа [Wikipedia].
Проще и быстрее это понять, конечно, на примерах: 1, 2, 3 (не забываем работать мышкой :)
Где это может быть полезно: картирование и георазведка, видеонаблюдение и тренировка/подготовка военных, съемка туристических и проч. достопримечательностей, недвижимости и др. продаваемых объектов, реклама, съемка исторических событий и ТВ-программ, а также, вполне возможно, совершенно новый формат художественных фильмов. Если технология пойдет в массы и станет более-менее доступной финансово, безусловно, и just for fun :)
Поиск по сети позволил обнаружить несколько проектов, активно занимающиеся разработкой в данном направлении. Это, в частности:
Immersive Media (ранее на Хабре)– американская компания, созданная в 1994 г., первое иммерсивное видео сняли в 1995 г. В 2004 разработали первую сферическую полностью цифровую видеокамеру (Dodeca System). С 2006 г. развивают проект GeoImmersive City Collect – видео аналог Google Street View для крупных городов США и Канады (сайта с этими самими видео я почему-то, правда, так и не нашел). Прошли IPO, торгуются на рынке. Некоторое время поставляли StreetView-фотоданные для Google, но потом дорожки компаний, похоже, разошлись.
Ключевой продукт компании IM – камера Dodeca 2360. Вкратце: додекаэдр с 11 объективами, снимает видео 30 fps (2400х1200 пикселей/фрейм); весит ~11,34 кг и может устанавливаться на различные транспортные средства, а также посредством специального каркаса вешаться на спину (в т.ч. парашютистам, серфингистам и проч.). Видео может дополняться метаданными (напр., GPS-координатами сьемки).
Хотя сама IM больше не занимается съемкой для Google, последняя использует именно камеры Dodeca 2360. Стоят они, судя по всему, немало – $45 000, плюс каждая миля готового видео обходится еще в $125-700 (а только по США уже накатано, по крайней мере, 50 тыс. миль).
Закономерно, что для показа своих видео компания разработала свой flash-плеер; предоставляет SDK для внедрения видео в сторонние приложения (есть интерфейсы для C++, C#, ActiveX, XPCOM).
Разрабатывает приложение IM GIS Viewer (рис. ниже), позволяющий одновременно смотреть иммерсивное видео и наблюдать местоположение камеры на карте, также инструменты для обозначения точек, сохранения кадров и проч. Неплохое видеоописание данного приложения можно увидеть здесь (англ.).
Ну и, наконец, есть достаточно много примеров иммерсивного видео, например, под водой, бейс-джампинг, американские горки и проч.
Другая компания, которую мне удалось найти — yellowBird. Эта значительно моложе и меньше, была основана Marc Groothelm и Rafaël Redczus в марте 2009 г.
Используют камеру с 6 объективами, генерирующую до 1200 Мбит/сек данных, со стереомикрофоном, пишущим звук при 96 кГц. Также весьма маленькая и может устанавливаться на транспорт или носиться человеком.
На текущий момент якобы используется преимущественно для съемки разнообразных фестивалей, но в принципе может применяться и для других нужд, упомянутых выше. Собственно, в сети имеется только один пример их работы, как раз «фестивальный».
В целом идея вроде бы «лежит на поверхности», и технологии, необходимые для ее реализации, вполне доступны, поэтому вполне вероятно, что имеются и другие начинания в данном направлении.
Другие интересности по теме:
* Известно, что подобную технологию используют американские военные для обучения своих солдат (там, кстати, используются очки для ВР и управление возможно поворотами головы) – видео.
*
Для тех, кому Dodeca 2360 не по карману, уже есть более бюджетные варианты, например, LadyBug2 (8 камер Sony 1/3" CCD по 0,8 мегапикселей, охватывающих 75% пространства; картинка 1024x768 на 30 fps по IEEE-1394b интерфейсу). Стоит около $10 000 (тут продавали б/у за $7500 :)
* 360videoblog.blogspot.com – свежий (с июня 2009 г.) блог о 360° видео.
Иммерсивное видео – видеозапись реального места/события, предусматривающая одновременную съемку изображения во всех направлениях (с охватом до 90..96% условной сферы вокруг камеры, кроме ее стойки). При проигрывании позволяет зрителю управлять (мышью, с помощью touch-screen или поворотом головы в случае использования специальных очков) направлением наблюдения, степенью приближения, а также скоростью показа [Wikipedia].
Проще и быстрее это понять, конечно, на примерах: 1, 2, 3 (не забываем работать мышкой :)
Где это может быть полезно: картирование и георазведка, видеонаблюдение и тренировка/подготовка военных, съемка туристических и проч. достопримечательностей, недвижимости и др. продаваемых объектов, реклама, съемка исторических событий и ТВ-программ, а также, вполне возможно, совершенно новый формат художественных фильмов. Если технология пойдет в массы и станет более-менее доступной финансово, безусловно, и just for fun :)
Поиск по сети позволил обнаружить несколько проектов, активно занимающиеся разработкой в данном направлении. Это, в частности:
Immersive Media (ранее на Хабре)– американская компания, созданная в 1994 г., первое иммерсивное видео сняли в 1995 г. В 2004 разработали первую сферическую полностью цифровую видеокамеру (Dodeca System). С 2006 г. развивают проект GeoImmersive City Collect – видео аналог Google Street View для крупных городов США и Канады (сайта с этими самими видео я почему-то, правда, так и не нашел). Прошли IPO, торгуются на рынке. Некоторое время поставляли StreetView-фотоданные для Google, но потом дорожки компаний, похоже, разошлись.
Ключевой продукт компании IM – камера Dodeca 2360. Вкратце: додекаэдр с 11 объективами, снимает видео 30 fps (2400х1200 пикселей/фрейм); весит ~11,34 кг и может устанавливаться на различные транспортные средства, а также посредством специального каркаса вешаться на спину (в т.ч. парашютистам, серфингистам и проч.). Видео может дополняться метаданными (напр., GPS-координатами сьемки).
Хотя сама IM больше не занимается съемкой для Google, последняя использует именно камеры Dodeca 2360. Стоят они, судя по всему, немало – $45 000, плюс каждая миля готового видео обходится еще в $125-700 (а только по США уже накатано, по крайней мере, 50 тыс. миль).
Закономерно, что для показа своих видео компания разработала свой flash-плеер; предоставляет SDK для внедрения видео в сторонние приложения (есть интерфейсы для C++, C#, ActiveX, XPCOM).
Разрабатывает приложение IM GIS Viewer (рис. ниже), позволяющий одновременно смотреть иммерсивное видео и наблюдать местоположение камеры на карте, также инструменты для обозначения точек, сохранения кадров и проч. Неплохое видеоописание данного приложения можно увидеть здесь (англ.).
Ну и, наконец, есть достаточно много примеров иммерсивного видео, например, под водой, бейс-джампинг, американские горки и проч.
Другая компания, которую мне удалось найти — yellowBird. Эта значительно моложе и меньше, была основана Marc Groothelm и Rafaël Redczus в марте 2009 г. Используют камеру с 6 объективами, генерирующую до 1200 Мбит/сек данных, со стереомикрофоном, пишущим звук при 96 кГц. Также весьма маленькая и может устанавливаться на транспорт или носиться человеком.
На текущий момент якобы используется преимущественно для съемки разнообразных фестивалей, но в принципе может применяться и для других нужд, упомянутых выше. Собственно, в сети имеется только один пример их работы, как раз «фестивальный».
В целом идея вроде бы «лежит на поверхности», и технологии, необходимые для ее реализации, вполне доступны, поэтому вполне вероятно, что имеются и другие начинания в данном направлении.
Другие интересности по теме:
* Известно, что подобную технологию используют американские военные для обучения своих солдат (там, кстати, используются очки для ВР и управление возможно поворотами головы) – видео.
*
Для тех, кому Dodeca 2360 не по карману, уже есть более бюджетные варианты, например, LadyBug2 (8 камер Sony 1/3" CCD по 0,8 мегапикселей, охватывающих 75% пространства; картинка 1024x768 на 30 fps по IEEE-1394b интерфейсу). Стоит около $10 000 (тут продавали б/у за $7500 :)* 360videoblog.blogspot.com – свежий (с июня 2009 г.) блог о 360° видео.
