Цифровые интерфейсы выходят за пределы плоскости экрана, учитывают движение пользователя, направление взгляда и распознают речь. А пространство становится частью системы взаимодействия.

Мы с коллегами работаем в сфере, где современные технологии используются для повышения эффективности обучающего материала и сопровождения специалистов во время их работы. И в последнее время в процессе разработки, статьях, интервью, все чаще стал использоваться термин «иммерсивный дизайн», «иммерсивный дизайнер». Решил собрать некоторые мысли по поводу данной специализации.

Определение

Сам термин может достаточно широко трактоваться, но в работе с интерактивными технологиями и конкретно VR/AR под ним подразумевается создание систем погружения и взаимодействия как в виртуальной, так и реальной среде, а также по выстраиванию связи между ними.

Частный слой ac:rgf:000295743102
09:00 10 июня 2120 года

Кухню освещали теплые лучи июньского солнца. За столом собралась вся семья Молк. Кати Молк раскладывала по тарелкам так всеми любимые вафли с шоколадом и свежей клубникой. Девятилетний Фол наливал апельсиновый сок для своей младшей сестры Элли. Отец семейства Риг с гордой улыбкой переводил взгляд с новостного слоя на картину идеального завтрака.

Хотел попробовать написать рассказ, поместившись в 2 тысячи знаков. В действительности это оказалось сложнее, чем думал.

Частный слой ac:r48267:000061792134
21:07 02 февраля 2062 года

— Я так скучал по тебе, — Рендел потянулся к каштановым кудрям новой прически Лоры. Девушка, игриво улыбнувшись, отпрянула от него и спрыгнула с дивана.

— Давай я приготовлю нам перекусить, — предложила она, отправившись к холодильнику.

— Постой, я не голоден, — Рендел встал вслед за Лорой. — Но у меня есть для тебя сюрприз.

Нулевой слой
13:32 28 июля 2116 года

— Вырубай, вырубай! — Илли выдернула шлейф, после чего ее сразу же стошнило в ближайшее мусорное ведро. — Что это было? Таракан, я тебе сейчас втащу!

— Обычный сенсорный конфликт, — меланхолично ответил здоровяк, не отрываясь от терминала. — И я в три раза тяжелее тебя, так что втащить ты сможешь только своему папаше, который, похоже, не научил тебя манерам.

— Почему меня вывернуло? — сплевывая свой обед, не унималась Илли.

В полутемном подвале прохладная сырость смешивалась со смесью благовоний, выхлопных газов и городской канализации, тянущихся жарой с улицы, что совсем не помогало текущему состоянию молодой девушки.

— Потому же, почему в начале прошлого века так же укачивало пользователей первых VR-шлемов. Ну, может быть, не так эффектно, конечно… Это называлось киберболезнью или просто эффектом укачивания, и возникало оно из-за рассогласованности между движением в виртуале и его отсутствием в реальности, — Таракан развернулся в кресле и посмотрел на Илли. — В виртуальной среде ты летишь в любую сторону, а в реале сидишь на диване. Знание о своем положении в пространстве и данные с визуального канала входят в конфликт друг с другом, возникает головокружение — мозг ошибочно считает, что организм отравлен, и вот ты портишь мое отличное мусорное ведро.

Публичный слой pl:000162792134
22:35 10 февраля 2091 года

— Ты точно уверен? — Микки стоял за спиной брата, боясь заглянуть в колодец.

— Хватит трусить, это все сказки, — Алан смотрел в глубину многоярусной конструкции, тусклый свет от его налобного фонарика растворялся среди массивных коммуникаций из труб и проводов. — Обычный набор анимаций и эффектов, ты же видел в нуле, что это просто недостроенная шахта. Никто тут никогда не пропадал и не умирал.

— Я и не трушу, просто это тупо идти на поводу у этих двоих, — Микки сделал неуверенный шаг в сторону края и посмотрел на ступени слева от него. — И зачем тогда нам туда спускаться?

— Да хватит уже трусить! Пошли, — Алан направился к лестнице, — тут всего 20 этажей. Главное — не подходи к краю пролета и все.

Микки неуверенным шагом последовал за старшим братом.

— Готов поспорить, что это обычный набор скримеров. Но только помни, — Алан резко развернулся, — никакого глушения аудио и сворачивания слоя. У меня идет запись, иначе мы не докажем, что прошли все этажи.

Частный слой ac:mblab:000121358554
16:45 23 июня 2087 года

Профессор Лекс голосом активировал записывающего бота, тот бесшумно взлетел, разместившись в центре ярко освещенной лаборатории. Ученый дрожащими руками сложил все бумаги с записями в идеально ровную стопку, лежащую в центре стола, и обратился к испуганному молодому человеку, сидящему напротив.

— Это произошло на 3048 слое 20 лет назад. Вир с полным перекрытием объективной реальности, глухая стилизация под какой-то классический шутер от первого лица — банально и уныло. Переулок превратился в набор размытых текстур с низким разрешением и без какой-либо фактуры, об углы домов, казалось, можно порезаться. Обычая поделка увлекающегося древностью богатого гика, отдающего дань давно никому не нужным произведениям прошлого.
Потерпевшего звали Элрон Окс, и он стал частью этого переулка в самом прямом смысле — его тело было наполовину погружено в плоскость дома: бедро правой ноги, таз, живот, локоть левой руки утонули в реальной стене, которая скрывалась за стилизованной визуализацией слоя.
Элрон ничего не говорил, не реагировал на речь других, но активно пытался выбраться из топологической западни. Самое же поразительное в том, что в нулевом слое физический Элрон Окс был уже как 12 часов мертв, как и его аватары в остальных двадцати с половиной миллионах публичных виртуальных реальностях. Но не в слое 3048.

После “50 советов по UX в виртуальной реальности” я, наконец, собрал набор советов по UX в реальности дополненной и постарался сконцентрироваться на отдельных решениях, которые могут сделать проще и удобнее процесс взаимодействия пользователя с цифровым слоем. Речь в первую очередь идет о рекомендациях по выстраиванию комфортного опыта в мобильном AR, как самом распространенном на текущий момент времени.

Этот список был собран на основе нескольких моих статей и заметок, посвященных созданию пользовательского опыта в VR. Материал создавался как своеобразный набор дополнительных рекомендаций для новых специалистов Modum Lab, которые занимаются созданием систем взаимодействия в VR-проектах (в основном под HTC Vive и автономные решения). Необходимо было в первую очередь разобрать такие темы, как использование контроллеров, систем перемещения, специфику разработки элементов интерфейса, визуализации аватаров и вопросы погружения в целом.

Термином четвертая стена в театре обозначается воображаемая стена между актерами и зрителями. И когда актер обращался со сцены к сидящим в зале, то это называется «сломать четвертую стену». Ломают ее, как просто для усиления комичности происходящего, так и для сближения разворачивающихся на сцене событий и самого зрителя. Подобный прием используется и в литературе, кинематографе и других видах искусства.

О способах разлома четвертой стены в классических компьютерных играх также писали уже множество раз (1,2). Но с появлением очков виртуальной реальности история с четвертой стеной приобретает интересный оборот. Теперь игрок оказывается не наблюдающим за действием через рамку экрана монитора, а становится непосредственно присутствующим в виртуальном пространстве. Значит ли это, что четвертой стены в компьютерных играх больше не существует? Не обязательно. И вот почему.

В сознании многих людей ВР-очки все еще являются просто «линзами с мониторами перед глазами, где вместо мышки нужно крутить головой». Даже многочисленные IT-специалисты еще не пришли к простому факту, что VR — это полноценная новая платформа, которая требует совершенно новых подходов в области выстраивания системы взаимодействия между человеком и компьютером, изменению концепций управления в известных игровых жанрах и UI/UX в целом. Одним словом — платформа требует исследования, которое и ведется множеством разработчиков вот уже несколько лет с момента появления Oculus Rift DK1.

Одним из наглядных примеров уникальности платформы является проблема свободного перемещения в виртуальной реальности и связанный с ним эффект укачивания (motion sickness). Давайте все же еще раз разберем его чуть подробнее.

Я не являюсь аналитиком и сейчас не буду пытаться доказывать «выстрелит» или нет технология виртуальной реальности, сформировав вокруг себя полноценный потребительский рынок в ближайшие N лет и сделав очки таким-же обычным элементом человеческой жизни, каким сейчас является компьютер или игровая приставка.
Но дело в том, что в российской (да и не только) блогосфере, среди представителей игровых и железных СМИ, а также IT-специалистов сформировался странный набор стереотипов и заблуждений относительно VR. Я бы хотел указать на ряд неточностей в утверждениях различных прогнозистов. И вот самые часто встречающиеся.

В последнее время все больше приходится сталкиваться с задачами, касающимися взаимодействия в виртуальной реальности. Тема интересная и актуальная, так как самым прямым образом связана с функциональными возможностями в виртуальной среде и влияет на пользовательский опыт в целом наравне с технологиями самих ВР-шлемов, расширяя границы уровня погружения.

Как только появилась первая версия очков Oculus Rift DK1 на новой волне интереса к ВР сразу же поднялись и вопросы систем ввода — клавиатура и мышь оказались фактически бесполезными инструментами, а управление через наведение взглядом — недостаточным способом взаимодействия с элементами окружения и интерфейса.

В мобильном ВР отлично прижился тачпад, который можно увидеть в моделях гарнитур Samsung Gear VR, а также беспроводные джойстики. Но в стационарном ВР, помимо использования классических джойстиков (без этих устройств не обойтись, так как в целом ряде игровых жанров они являются оптимальным решением и в VR), существуют гораздо большие возможности для систем ввода. Сейчас все три крупных игрока — Oculus VR, HTC/Valve и Sony — будут использовать вместе со своими очками контроллеры, чувствительные к движению. Положение самих очков и контроллеров при этом могут определяться в пространстве.

Oculus и Sony сконцентрировались на реализации трекинга шлема и контроллеров больше рассчитанную на пользователя, находящегося в сидячем или стоячем положении, а система трекинга Vive работает на площади до 4.5 на 4.5 метра, позволяя пользователю перемещаться в пределах обозначенного пространства.

Многие могли удивиться. Почему предлагается использовать контроллеры, чувствительные к движению, а не их альтернативы? Ведь есть системы захвата мелкой моторики пальцев, как, например, Leap Motion, а также различные прототипы перчаток (для примера — разработка Хimmerse).

На пути к полному погружению

Недавно Палмер Лаки задал в твиттере вопрос — чем отличается реальный мир от виртуального? И сам же лаконично ответил — в объеме данных. Забавно. То, что мы постоянно воспринимаем, то богатство реального мира вокруг нас, в определенном смысле тоже виртуально, симулируется нашим мозгом, благодаря данным, полученным от органов чувств. Изначальная задача данной симуляции — выживание. И эта симуляция не может сравниться с тем невообразимым объемом информации, всем тем океаном электромагнитного излучения, что содержит объективная действительность, которую нам полностью не познать.

Что же касается подмены одной симуляции на другую, то в ближайшее время мы вряд ли увидим полное погружение за счет нейроинтерфейсов, которые смогли бы обойти нашу сенсорную систему, получив доступ сразу к мозгу. Это дело хоть не отдаленного, но будущего. Пока нас ждет новая ступень погружения в виде очков виртуальной реальности и другой периферии, которая «обманывает» (хотя это слово тут не очень уместно) именно наши сенсоры. И сейчас даже это выглядит фантастикой, что не удивительно, ведь пару десятков лет назад это ей и являлось — устройства были громоздкими, невероятно дорогими и слабопроизводительными. И никому не нужными, если говорить о потребительском рынке. Теперь же ситуация стремительно меняется.

Я смотрю на ВР, как на естественный виток развития технологий — человеко-машинного интерфейса — новую ступень расширения человеческих возможностей. Но скепсис некоторых относительно будущего виртуальной реальности понятен. Большие деньги вливаются в сферу без наличия рынка сбыта, хотя информационный шум длится уже несколько лет. Сейчас ведется множество разработок «на опережение», даже сами устройства еще находятся в стадии создания и, чтобы технология была принята потребителями, должен сложиться целый ряд условий, а также потребуется разрешить некоторые существенные вопросы. И они намного сложнее и интереснее, чем кажется изначально. Попробуем их обозначить.

Эскейп-рум (или квест в реальности, квест-комната) это один из вариантов игр в реальности, где игроки должны решать всевозможные головоломки, будучи ограниченными во времени в замкнутом пространстве. Одна из самых частых игровых целей — нужно выбраться из комнаты. Для этого требуется пройти цепочку из задач, близких по своей специфике к головоломкам в компьютерных квестах, на которых накладывается фактор реального мира.

Наша команда VR-AR Lab специализируется на проектах с использованием технологией виртуальной реальности. И так получилось, что мы стали партнерами в создании двух квестов в Лос-Анджелесе, в одном из которых помимо обычных загадок использовалась игра для очков виртуальной реальности Oculus Rift и датчика захвата движения Leap Motion.
Я хотел бы поделиться опытом работы над подобным проектом. Мои задачи на нем касались двух моментов. Во-первых, консультация в разработке игровой последовательности и головоломок, геймдизайна в целом. Во-вторых, создание и интеграция в одну из историй игры в виртуальной реальности, артдирекшн и менеджмент ее разработки.