Дополненная реальность (Augmented reality, AR) — это область исследований, ориентированная на использование компьютеров для совмещения реального мира и данных, сгенерированных компьютером. Пример из кинематографа — кадры, снятые с точки зрения робота в фильме «Терминатор». Прямо на изображении, получаемом с глаз-камер, выводятся данные о наблюдаемых объектах: «полицейский, вес такой-то, рост такой-то».
На сегодняшний день, большинство исследований в области AR сконцентрировано на использовании живого видео, подвергнутого цифровой обработке и «дополненного» компьютерной графикой. Отображение актуальной дополнительной информации поверх видео можно наблюдать, в частности, во время трансляции спортивных соревнований. Сегодня поклонники «Формулы 1» видят на экране не только движущиеся по кольцу болиды, но и сведения о гонщике, командной принадлежности, положении относительно автомобилей важнейших соперников, а иногда даже графики, отражающие количество оборотов двигателя.
Более серьёзные исследования включают использование отслеживания движения объектов, распознавание координатных меток при помощи машинного зрения и конструирование управляемого окружения состоящего из произвольного количества сенсоров и силовых приводов.
Изначально термин AR был введён в противовес виртуальной реальности: вместо погружения пользователя в синтезированное, полностью информационное окружение, задачей AR является дополнение реального мира возможностями по обработке дополнительной информации. Другие же исследователи понимают виртуальную реальность как специальный случай дополнённой реальности. Дополненная реальность сама по себе представляет специальный случай более общей концепции опосредованной реальности (med-R), в том смысле, что опосредованная реальность позволяет сознательно дополнять или сокращать, а также иным образом модифицировать реальность.
Первым исследователем дополненной реальности можно считать Айвэна Сазерленда (Ivan Sutherland), который построил работающий прототип системы в 1967 году. Он использовал стереоочки Sword of Damocles для показа трехмерной графики. Изображение в них проецировалось на два полупрозрачных стеклянных мини-дисплея с напылением серебра. Любопытное название происходит от способа крепления устройства — на потолке, что контрастировало с наименованием класса такого рода оборудования: Head-Mounted Display. Впервые система была использована в проекте, выполненном в 1968 г. для Bell Helicopter Company, в котором стереоочки работали в паре с инфракрасной камерой, находящейся под днищем вертолета. Камера управлялась движением головы пилота. Так родилось понятие «дополненной реальности».
Современный этап исследований начался в 1990 году, когда исследователи фирмы Boeing решили использовать наголовные стереодисплеи при сборке и обслуживании самолётов, накладывая интерактивную графику на изображения реального мира.
Одним из наиболее известных исследователей в этой области сегодня является Рональд Азума (Ronald Azuma) из HRL Laboratories. В 1997 г. он опубликовал большую обзорную статью «A Survey of Augmented Reality», где впервые были ясно очерчены проблемы и возможности, связанные с внедрением этой технологической концепции. С 1999 г. ведет свою историю регулярно проводимая конференция IEEE, ACM and Eurographics International Symposium on Mixed and Augmented Reality (ISMAR). Наиболее успешные и известные организации, специализирующиеся на дополненной реальностью, располагаются в Японии — Mixed Reality Systems Lab — и Германии — консорциум Arvika.
Рональд Т. Азума (Ronald T. Azuma) определяет AR как систему, которая:
Герман Бенес (Hermann H. Benes) пишет: «Дополненная реальность определяется в соответствии с контекстом и при этом рассматривается не как абстрактная запись, а так, словно, объекты дополненной реальности существуют в природе и жизни. Дополненная реальность — это инструмент, который позволяет одному или многим наблюдателям расширить своё поле зрение при помощи виртуальных элементов обычно созданных компьютером. Следующие правила могут быть определены как необходимые для того, чтобы дополненная реальность была принята бизнесом, образованием и обществом:
Большинство людей, которые интересуются AR, считают одной из самых важных характеристик способ, которым осуществляется трансформация места, где происходит взаимодействие. В интерактивной системе важно не просто точно определить местоположение, но и распознать окружение. Взаимодействие — это не просто считывание информации с экрана, это растворение себя в окружающем пространстве и объектах. При этом использование информационных систем является осознанным и мыслительным актом.
Три основные составляющие персональной системы дополненной реальности это
Компьютер
До недавнего времени главным препятствием для практического внедрения была неспособность мобильных ПК обсчитывать трехмерную графику. В настоящее время акцент сместился на разработку адекватных методов позиционирования и отображения
Позиционирование
Использование ставшей уже классической навигационной системы GPS не решает проблему. Ведь идея дополнения реальности заключается в получении правильной информации в правильном месте. «Классический» датчик GPS дает минимальную погрешность от 3 до 30 м. Учитывая то, что подписи на дисплее должны совмещаться с изображением реальных объектов, такая ошибка делает затею бессмысленной. Да и в городе GPS зачастую бессилен.
Отображение видеоинформации не менее проблематично. Необходимо совмещать трехмерную графику и реальные объекты, учитывая перемещения человека в пространстве и его позу. До сих пор мобильные дисплеи являются слабым местом любых носимых компьютеров. Недорогие, качественные, легкие и компактные видеоочки по-прежнему редкость.
Поскольку основной задачей дополненной реальности является синтез реальных и виртуальных объектов в пространстве, то возникает необходимость в предварительной оцифровке данных об окружающем пространстве. Регистрирование геометрических пространственных характеристик небольших помещений сегодня уже стало нормой жизни для широкого круга специалистов. Все оказывается гораздо сложнее, когда речь заходит об открытых пространствах: как взаимно расположены виртуальные и реальные предметы, какой из них находится на первом плане? Работа здесь ведется по двум направлениям: съемка «карты глубин» (depth sensing) в реальном масштабе времени и предварительный сбор информации о местности.
Как научить компьютер ориентированию? Комбинация гироскопа и компаса дает неплохие результаты, а если добавить к ним распознавание изображений заранее известных элементов ландшафта — точность возрастает до пиксельного уровня. Расхождение измеряется пикселями исключительно из-за особенностей человеческого мозга и зрения, способных выявить малейший промах при размещении виртуальных предметов в реальном пространстве.
Пользу здесь приносят даже разработки создателей спецэффектов в кино, которые занимаются восстановлением траектории движения камеры с помощью отслеживания перемещений в кадре объектов-маркеров.
Впрочем, пока проблему представляют даже задержки при выполнении обычных алгоритмов ориентирования. Сюда следует добавить латентность механизма рендеринга. Ученые вынуждены искать решение в различных двухмерных методах, таких, как искажение и смещение заранее отрендеренных виртуальных объектов, имитирующие движение в плоскости и даже вращение.
Большое положительное и стимулирующие влияние на развитие технологий дополненной реальности оказала система отслеживания положения HiBall. Она была разработана сотрудниками университета Северной Каролины в рамках проекта, финансируемого агентством DARPA. Несмотря на то, что система способна работать только с предварительно подготовленными закрытыми помещениями, достигнутая в ходе экспериментов точность и минимальная латентность были рекордными. HiBall с частотой 1500 Гц регистрирует любые линейные перемещения начиная с 0,2 мм и вращения на углы от 0,03°.
Собственно датчик, которым снабжается отслеживаемый предмет или человек, состоит из шести фотодиодов и шести объективов. Каждый сенсор получает изображения со всех объективов, что в сумме дает 36 независимых видов. Фотодиоды фиксируют сигналы от снабженных матрицей светодиодов панелей подвесного потолка.
Основное достоинство системы состоит в ее способности к автоматической калибровке. Ведь иначе установка панелей вылилась бы в утомительную процедуру, требующую прецизионной точности. Чтобы доказать эффективность адаптационных свойств HiBall, исследователи специально вносили погрешности в расположение потолочных панелей. Через 10 минут после начала использования, получив в распоряжение изначальные координаты панелей, система сумела определить их новую конфигурацию.
Реализовать все это позволяет алгоритм SCAAT (Single Constrain At A Time). Как гласит его название, идея заключается в использовании измерений по мере поступления. Если традиционная система пытается одновременно получить все координаты (x, y, z, t), то SCAAT за один цикл фиксирует лишь одну из них, с каждой итерацией налагая все более точные ограничения на решения уравнения, определяющего зону вероятного расположения датчика в пространстве. Это сводит к минимуму латентность и при достаточно высокой частоте измерений дает хорошую точность. «Секрет фирмы» — в оригинальном применении математического фильтра Калмана (Kalman).
Венцом усилий ученых стала коммерческая эксплуатация системы — компания 3rdTech продает HiBall-3000 Tracker. Одним из вариантов пользовательского устройства-датчика является трехмерный дигитайзер, которым можно оцифровывать объемные предметы.
Увы, путнику HiBall не подойдет. Ему нужен GPS. Однако на точность измерений влияют не только рельеф и характер местности, но даже атмосферные явления. И тут на помощь приходит Differential GPS.
На местности устанавливают «базовые» станции GPS, которые находятся в тщательно отобранных реперных точках с известными координатами. Задача станции — по известным координатам вычислить ожидаемую задержку сигнала со всех доступных в данный момент спутников и определить разницу между предполагаемыми и реально полученными значениями. Затем в радиоэфир (обычно на частоте 300 кГц) выдается список спутников с коэффициентами поправок для каждого из них. Мобильному датчику, находящемуся поблизости, остается только принять список, вычленить из него наблюдаемые им в данный момент спутники и скорректировать измеренные значения временных задержек сигналов.
Следующий этап в развитии GPS-позиционирования — Code-Phase GPS. Обычный датчик GPS использует для определения временных задержек спутникового сигнала кодовую синхронизацию. Спутник ретранслирует постоянно повторяющуюся последовательность кодов. Приёмник, получив сигнал, начинает циклически сдвигать свою последовательность до тех пор, пока она не совпадет с принятой. Количество шагов, которые потребовались для кодовой синхронизации, дает представление о временной задержке. Но именно «дает представление»: частота следования символов в последовательности ограничена, и точность измерений — тоже.
Датчики Code-Phase GPS не останавливаются на кодовой синхронизации и, после того как последовательности совпали на цифровом уровне, начинают добиваться совпадения несущих частот внутреннего тактового генератора и спутникового сигнала. Частота передачи спутников GPS равна 1,57 ГГц, и если перевести данное значение на язык расстояний, то максимальная точность измерений для фазовой синхронизации составляет около 3 мм.
Отображение
Взаимодействие пользователя с системой дополненной реальности требует нестандартных решений. Конечно, никто не отбрасывает обычную клавиатуру и мышь, однако, учитывая мобильную природу технологии, они не являются идеальной парой для видеоочков. В экспериментальных устройствах исследователи пытаются использовать практически весь арсенал методик ввода информации: манипуляторы с шестью степенями свободы, распознавание речи и жестов. Но, как правило, для полноценного взаимодействия с дополненной реальностью приходится комбинировать несколько устройств.
Наибольший интерес вызывают «виртуальные интерфейсы», поражающие своей простотой и оригинальностью. Все в точности, как во время детской игры, когда лыжная палка превращается в меч, а оторванный от детского автомобильчика руль — в штурвал самолета. Например, человек берет в руки обычную доску, а компьютер «дорисовывает» на ней органы управления: клавиши, переключатели и дисплеи. Такой способ реализован в PIP (Personal Interaction Panel).
В другой опытной системе пользователь переставляет виртуальную мебель в виртуальной игрушечной квартире с помощью реальной небольшой лопатки. А в некоторых современных игровых автоматах можно играть в виртуальный теннис специальной теннисной ракеткой.
Восхищает элегантность концепции Magic Book — реальная книга, страницы которой служат «порталами» в различные виртуальные миры. Когда пользователь, листая альбом, принимает решение «войти» в определенный мир, его аватар появляется на соответствующей странице книг других пользователей системы.
Дисплеи (HMD или HWD, Head-Worn Displays) для дополненной реальности делятся на два основных типа: оптически прозрачные (optical see-through) и видеопрозрачные (video see-through). Первые позволяют человеку видеть сквозь них окружающий мир — зритель наблюдает и сгенерированное изображение, и пространство вокруг себя. Видеопрозрачные очки используют внешнюю видеокамеру для генерирования изображения реальных предметов.
Помимо видеоочков, нашли применение и обыкновенные плоские мобильные и проекционные дисплеи. Последние, в частности, хорошо подходят для использования в транспортных средствах (автомобилях, самолетах) и стационарных системах (краны, пульты управления производственными процессами и т. д.). Наконец, самый необычный вариант предусматривает проецирование изображений непосредственно на предметах окружающего мира, покрытых ретрорефлективным светоотражающим слоем. В данном случае отражение происходит строго по линии падения света, поэтому несколько человек, рассматривающих один предмет с различных точек зрения, не замечают «информацию» соседей. С помощью ретрорефлективного покрытия можно делать предметы прозрачными — для этого на их поверхности надо отображать расположенное за ними пространство.
К сожалению, оптически прозрачные дисплеи не всегда позволяют исключать/заслонять реальные объекты, да и добиться точного совпадения виртуального и реального мира чрезвычайно сложно. А видеопрозрачные системы, в свою очередь, страдают от расхождения между расположением камер и глаз человека (параллакс) — картинка получается весьма далекой от той позиции, с которой он привык видеть мир. Кроме того, должна быть решена извечная проблема трехмерных дисплеев — четкая зависимость между фокусировкой зрачка и межзрачковым расстоянием. В зависимости от удаленности предметов оба эти параметра согласованно меняются, но когда объемные предметы проецируются на равноудаленную от глаз плоскость, связь между ними нарушается, что приводит к сильному дискомфорту. Это ощущение знакомо любому посетителю кинотеатров IMAX 3D.
Сложности технологического характера — это еще не все. В дополненной реальности возникает реальная угроза «перегруженности кадра» — угроза слишком большого объема выводимой информации. В поле зрения иногда одновременно попадают сотни значащих объектов. Чтобы облегчить жизнь, пользователю приходится фильтровать сведения и вычленять из них действительно необходимые. Также нельзя допускать наложения виртуальных элементов на важные для пользователя объекты реального мира: к примеру, виртуальные указатели на гостиницы и рестораны, проецируемые на лобовом стекле автомобиля, не должны заслонить собой встречный грузовик или светофор.
Зародившись в 60-х годах XX века, технологии дополненной реальности переживают бурное развитие. При этом разработчики сталкиваются с рядом проблем и достаточно успешно их решают. В дополненной реальности не происходит различия между реальным и виртуальным мирами, что может сделать мир интереснее и насыщеннее. Таким образом, технологии дополненной реальности постепенно входят в нашу жизнь, меняя и делая ее более комфортной. Кроме того, она уже сейчас не является чем-то непривычным и экзотическим, мы сталкиваемся с ней практически на каждом шагу, просто не замечаем этого.
Ведущие кампании-разработчики
www.arvika.de/www/e/home/home.htm — Arvika
www.artesas.de/site.php?lng=en – ARTESAS — Advanced Augmented Reality Technologies for Industrial Service Application
www.globis.ethz.ch/research/index — Global Information Systems Group
www.hitlabnz.org — HitLabNZ
www.iconolab.com — IconoLab
www.ipf.uni-karlsruhe.de — Немецкий институт фотограмметрии и изучения космоса
www.mixedrealitylab.org — Mixed Reality Lab
www.nus.edu.sg — Национальный университет Сингапура
www.t-immersion.com/home.asp — Total Immersion
www1.cs.columbia.edu/graphics/top.html — Лаборатория компьютерной графики и пользовательских интерфейсов при Колумбийском Университете.
P.S. Это компиляция нескольких статей на тему. Если что-то забыл, добавляйте.
На сегодняшний день, большинство исследований в области AR сконцентрировано на использовании живого видео, подвергнутого цифровой обработке и «дополненного» компьютерной графикой. Отображение актуальной дополнительной информации поверх видео можно наблюдать, в частности, во время трансляции спортивных соревнований. Сегодня поклонники «Формулы 1» видят на экране не только движущиеся по кольцу болиды, но и сведения о гонщике, командной принадлежности, положении относительно автомобилей важнейших соперников, а иногда даже графики, отражающие количество оборотов двигателя.
Более серьёзные исследования включают использование отслеживания движения объектов, распознавание координатных меток при помощи машинного зрения и конструирование управляемого окружения состоящего из произвольного количества сенсоров и силовых приводов.
Изначально термин AR был введён в противовес виртуальной реальности: вместо погружения пользователя в синтезированное, полностью информационное окружение, задачей AR является дополнение реального мира возможностями по обработке дополнительной информации. Другие же исследователи понимают виртуальную реальность как специальный случай дополнённой реальности. Дополненная реальность сама по себе представляет специальный случай более общей концепции опосредованной реальности (med-R), в том смысле, что опосредованная реальность позволяет сознательно дополнять или сокращать, а также иным образом модифицировать реальность.
Первым исследователем дополненной реальности можно считать Айвэна Сазерленда (Ivan Sutherland), который построил работающий прототип системы в 1967 году. Он использовал стереоочки Sword of Damocles для показа трехмерной графики. Изображение в них проецировалось на два полупрозрачных стеклянных мини-дисплея с напылением серебра. Любопытное название происходит от способа крепления устройства — на потолке, что контрастировало с наименованием класса такого рода оборудования: Head-Mounted Display. Впервые система была использована в проекте, выполненном в 1968 г. для Bell Helicopter Company, в котором стереоочки работали в паре с инфракрасной камерой, находящейся под днищем вертолета. Камера управлялась движением головы пилота. Так родилось понятие «дополненной реальности».
Современный этап исследований начался в 1990 году, когда исследователи фирмы Boeing решили использовать наголовные стереодисплеи при сборке и обслуживании самолётов, накладывая интерактивную графику на изображения реального мира.
Одним из наиболее известных исследователей в этой области сегодня является Рональд Азума (Ronald Azuma) из HRL Laboratories. В 1997 г. он опубликовал большую обзорную статью «A Survey of Augmented Reality», где впервые были ясно очерчены проблемы и возможности, связанные с внедрением этой технологической концепции. С 1999 г. ведет свою историю регулярно проводимая конференция IEEE, ACM and Eurographics International Symposium on Mixed and Augmented Reality (ISMAR). Наиболее успешные и известные организации, специализирующиеся на дополненной реальностью, располагаются в Японии — Mixed Reality Systems Lab — и Германии — консорциум Arvika.
Рональд Т. Азума (Ronald T. Azuma) определяет AR как систему, которая:
- Совмещает виртуальное и реальное
- Взаимодействует в реальном времени
- Работает в 3D
Герман Бенес (Hermann H. Benes) пишет: «Дополненная реальность определяется в соответствии с контекстом и при этом рассматривается не как абстрактная запись, а так, словно, объекты дополненной реальности существуют в природе и жизни. Дополненная реальность — это инструмент, который позволяет одному или многим наблюдателям расширить своё поле зрение при помощи виртуальных элементов обычно созданных компьютером. Следующие правила могут быть определены как необходимые для того, чтобы дополненная реальность была принята бизнесом, образованием и обществом:
- Полная интерактивность в реальном времени
- Точное и сверхбыстрое отслеживание
- Стереоскопия
- Сверхпортативность и беспроводность
- Ощущение «полного погружения»
Большинство людей, которые интересуются AR, считают одной из самых важных характеристик способ, которым осуществляется трансформация места, где происходит взаимодействие. В интерактивной системе важно не просто точно определить местоположение, но и распознать окружение. Взаимодействие — это не просто считывание информации с экрана, это растворение себя в окружающем пространстве и объектах. При этом использование информационных систем является осознанным и мыслительным актом.
Три основные составляющие персональной системы дополненной реальности это
- носимый компьютер
- средства позиционирования
- средства отображения
Компьютер
До недавнего времени главным препятствием для практического внедрения была неспособность мобильных ПК обсчитывать трехмерную графику. В настоящее время акцент сместился на разработку адекватных методов позиционирования и отображения
Позиционирование
Использование ставшей уже классической навигационной системы GPS не решает проблему. Ведь идея дополнения реальности заключается в получении правильной информации в правильном месте. «Классический» датчик GPS дает минимальную погрешность от 3 до 30 м. Учитывая то, что подписи на дисплее должны совмещаться с изображением реальных объектов, такая ошибка делает затею бессмысленной. Да и в городе GPS зачастую бессилен.
Отображение видеоинформации не менее проблематично. Необходимо совмещать трехмерную графику и реальные объекты, учитывая перемещения человека в пространстве и его позу. До сих пор мобильные дисплеи являются слабым местом любых носимых компьютеров. Недорогие, качественные, легкие и компактные видеоочки по-прежнему редкость.
Поскольку основной задачей дополненной реальности является синтез реальных и виртуальных объектов в пространстве, то возникает необходимость в предварительной оцифровке данных об окружающем пространстве. Регистрирование геометрических пространственных характеристик небольших помещений сегодня уже стало нормой жизни для широкого круга специалистов. Все оказывается гораздо сложнее, когда речь заходит об открытых пространствах: как взаимно расположены виртуальные и реальные предметы, какой из них находится на первом плане? Работа здесь ведется по двум направлениям: съемка «карты глубин» (depth sensing) в реальном масштабе времени и предварительный сбор информации о местности.
Как научить компьютер ориентированию? Комбинация гироскопа и компаса дает неплохие результаты, а если добавить к ним распознавание изображений заранее известных элементов ландшафта — точность возрастает до пиксельного уровня. Расхождение измеряется пикселями исключительно из-за особенностей человеческого мозга и зрения, способных выявить малейший промах при размещении виртуальных предметов в реальном пространстве.
Пользу здесь приносят даже разработки создателей спецэффектов в кино, которые занимаются восстановлением траектории движения камеры с помощью отслеживания перемещений в кадре объектов-маркеров.
Впрочем, пока проблему представляют даже задержки при выполнении обычных алгоритмов ориентирования. Сюда следует добавить латентность механизма рендеринга. Ученые вынуждены искать решение в различных двухмерных методах, таких, как искажение и смещение заранее отрендеренных виртуальных объектов, имитирующие движение в плоскости и даже вращение.
Большое положительное и стимулирующие влияние на развитие технологий дополненной реальности оказала система отслеживания положения HiBall. Она была разработана сотрудниками университета Северной Каролины в рамках проекта, финансируемого агентством DARPA. Несмотря на то, что система способна работать только с предварительно подготовленными закрытыми помещениями, достигнутая в ходе экспериментов точность и минимальная латентность были рекордными. HiBall с частотой 1500 Гц регистрирует любые линейные перемещения начиная с 0,2 мм и вращения на углы от 0,03°.
Собственно датчик, которым снабжается отслеживаемый предмет или человек, состоит из шести фотодиодов и шести объективов. Каждый сенсор получает изображения со всех объективов, что в сумме дает 36 независимых видов. Фотодиоды фиксируют сигналы от снабженных матрицей светодиодов панелей подвесного потолка.
Основное достоинство системы состоит в ее способности к автоматической калибровке. Ведь иначе установка панелей вылилась бы в утомительную процедуру, требующую прецизионной точности. Чтобы доказать эффективность адаптационных свойств HiBall, исследователи специально вносили погрешности в расположение потолочных панелей. Через 10 минут после начала использования, получив в распоряжение изначальные координаты панелей, система сумела определить их новую конфигурацию.
Реализовать все это позволяет алгоритм SCAAT (Single Constrain At A Time). Как гласит его название, идея заключается в использовании измерений по мере поступления. Если традиционная система пытается одновременно получить все координаты (x, y, z, t), то SCAAT за один цикл фиксирует лишь одну из них, с каждой итерацией налагая все более точные ограничения на решения уравнения, определяющего зону вероятного расположения датчика в пространстве. Это сводит к минимуму латентность и при достаточно высокой частоте измерений дает хорошую точность. «Секрет фирмы» — в оригинальном применении математического фильтра Калмана (Kalman).
Венцом усилий ученых стала коммерческая эксплуатация системы — компания 3rdTech продает HiBall-3000 Tracker. Одним из вариантов пользовательского устройства-датчика является трехмерный дигитайзер, которым можно оцифровывать объемные предметы.
Увы, путнику HiBall не подойдет. Ему нужен GPS. Однако на точность измерений влияют не только рельеф и характер местности, но даже атмосферные явления. И тут на помощь приходит Differential GPS.
На местности устанавливают «базовые» станции GPS, которые находятся в тщательно отобранных реперных точках с известными координатами. Задача станции — по известным координатам вычислить ожидаемую задержку сигнала со всех доступных в данный момент спутников и определить разницу между предполагаемыми и реально полученными значениями. Затем в радиоэфир (обычно на частоте 300 кГц) выдается список спутников с коэффициентами поправок для каждого из них. Мобильному датчику, находящемуся поблизости, остается только принять список, вычленить из него наблюдаемые им в данный момент спутники и скорректировать измеренные значения временных задержек сигналов.
Следующий этап в развитии GPS-позиционирования — Code-Phase GPS. Обычный датчик GPS использует для определения временных задержек спутникового сигнала кодовую синхронизацию. Спутник ретранслирует постоянно повторяющуюся последовательность кодов. Приёмник, получив сигнал, начинает циклически сдвигать свою последовательность до тех пор, пока она не совпадет с принятой. Количество шагов, которые потребовались для кодовой синхронизации, дает представление о временной задержке. Но именно «дает представление»: частота следования символов в последовательности ограничена, и точность измерений — тоже.
Датчики Code-Phase GPS не останавливаются на кодовой синхронизации и, после того как последовательности совпали на цифровом уровне, начинают добиваться совпадения несущих частот внутреннего тактового генератора и спутникового сигнала. Частота передачи спутников GPS равна 1,57 ГГц, и если перевести данное значение на язык расстояний, то максимальная точность измерений для фазовой синхронизации составляет около 3 мм.
Отображение
Взаимодействие пользователя с системой дополненной реальности требует нестандартных решений. Конечно, никто не отбрасывает обычную клавиатуру и мышь, однако, учитывая мобильную природу технологии, они не являются идеальной парой для видеоочков. В экспериментальных устройствах исследователи пытаются использовать практически весь арсенал методик ввода информации: манипуляторы с шестью степенями свободы, распознавание речи и жестов. Но, как правило, для полноценного взаимодействия с дополненной реальностью приходится комбинировать несколько устройств.
Наибольший интерес вызывают «виртуальные интерфейсы», поражающие своей простотой и оригинальностью. Все в точности, как во время детской игры, когда лыжная палка превращается в меч, а оторванный от детского автомобильчика руль — в штурвал самолета. Например, человек берет в руки обычную доску, а компьютер «дорисовывает» на ней органы управления: клавиши, переключатели и дисплеи. Такой способ реализован в PIP (Personal Interaction Panel).
В другой опытной системе пользователь переставляет виртуальную мебель в виртуальной игрушечной квартире с помощью реальной небольшой лопатки. А в некоторых современных игровых автоматах можно играть в виртуальный теннис специальной теннисной ракеткой.
Восхищает элегантность концепции Magic Book — реальная книга, страницы которой служат «порталами» в различные виртуальные миры. Когда пользователь, листая альбом, принимает решение «войти» в определенный мир, его аватар появляется на соответствующей странице книг других пользователей системы.
Дисплеи (HMD или HWD, Head-Worn Displays) для дополненной реальности делятся на два основных типа: оптически прозрачные (optical see-through) и видеопрозрачные (video see-through). Первые позволяют человеку видеть сквозь них окружающий мир — зритель наблюдает и сгенерированное изображение, и пространство вокруг себя. Видеопрозрачные очки используют внешнюю видеокамеру для генерирования изображения реальных предметов.
Помимо видеоочков, нашли применение и обыкновенные плоские мобильные и проекционные дисплеи. Последние, в частности, хорошо подходят для использования в транспортных средствах (автомобилях, самолетах) и стационарных системах (краны, пульты управления производственными процессами и т. д.). Наконец, самый необычный вариант предусматривает проецирование изображений непосредственно на предметах окружающего мира, покрытых ретрорефлективным светоотражающим слоем. В данном случае отражение происходит строго по линии падения света, поэтому несколько человек, рассматривающих один предмет с различных точек зрения, не замечают «информацию» соседей. С помощью ретрорефлективного покрытия можно делать предметы прозрачными — для этого на их поверхности надо отображать расположенное за ними пространство.
К сожалению, оптически прозрачные дисплеи не всегда позволяют исключать/заслонять реальные объекты, да и добиться точного совпадения виртуального и реального мира чрезвычайно сложно. А видеопрозрачные системы, в свою очередь, страдают от расхождения между расположением камер и глаз человека (параллакс) — картинка получается весьма далекой от той позиции, с которой он привык видеть мир. Кроме того, должна быть решена извечная проблема трехмерных дисплеев — четкая зависимость между фокусировкой зрачка и межзрачковым расстоянием. В зависимости от удаленности предметов оба эти параметра согласованно меняются, но когда объемные предметы проецируются на равноудаленную от глаз плоскость, связь между ними нарушается, что приводит к сильному дискомфорту. Это ощущение знакомо любому посетителю кинотеатров IMAX 3D.
Сложности технологического характера — это еще не все. В дополненной реальности возникает реальная угроза «перегруженности кадра» — угроза слишком большого объема выводимой информации. В поле зрения иногда одновременно попадают сотни значащих объектов. Чтобы облегчить жизнь, пользователю приходится фильтровать сведения и вычленять из них действительно необходимые. Также нельзя допускать наложения виртуальных элементов на важные для пользователя объекты реального мира: к примеру, виртуальные указатели на гостиницы и рестораны, проецируемые на лобовом стекле автомобиля, не должны заслонить собой встречный грузовик или светофор.
Зародившись в 60-х годах XX века, технологии дополненной реальности переживают бурное развитие. При этом разработчики сталкиваются с рядом проблем и достаточно успешно их решают. В дополненной реальности не происходит различия между реальным и виртуальным мирами, что может сделать мир интереснее и насыщеннее. Таким образом, технологии дополненной реальности постепенно входят в нашу жизнь, меняя и делая ее более комфортной. Кроме того, она уже сейчас не является чем-то непривычным и экзотическим, мы сталкиваемся с ней практически на каждом шагу, просто не замечаем этого.
Ведущие кампании-разработчики
www.arvika.de/www/e/home/home.htm — Arvika
www.artesas.de/site.php?lng=en – ARTESAS — Advanced Augmented Reality Technologies for Industrial Service Application
www.globis.ethz.ch/research/index — Global Information Systems Group
www.hitlabnz.org — HitLabNZ
www.iconolab.com — IconoLab
www.ipf.uni-karlsruhe.de — Немецкий институт фотограмметрии и изучения космоса
www.mixedrealitylab.org — Mixed Reality Lab
www.nus.edu.sg — Национальный университет Сингапура
www.t-immersion.com/home.asp — Total Immersion
www1.cs.columbia.edu/graphics/top.html — Лаборатория компьютерной графики и пользовательских интерфейсов при Колумбийском Университете.
P.S. Это компиляция нескольких статей на тему. Если что-то забыл, добавляйте.
