Microsoft corporate blog
AR and VR
Gadgets
Conferences
Development for AR and VR
Comments 19
0
А как это на самом деле выглядит со стороны пользователя? Будут записи видео из той точки где глаз находится, или только рекламные рендеры?
0
Первая и главная проблема, полагаю это чисто техническая, решаемая исключительно высокой стоимостью и весом устройства — это низкие углы обзора.
Углы зрения (наложения изображения или field of view) у первой версии были — 30x17.5 градусов.
У второй версии чуть чуть побольше, 43x29 (кстати разные источники говорят разное, одни про 70 но это они пытаются рассчитывать углы на 16:9 область видимости, когда как для обоих моделей она примерно 3:4).
Такой маленький угол обзора ограничивает применение до исключительно в рабочей области, т.е. повесить сбоку на периферии информационное табло, чтобы можно было к нему обращаться только меняя угол взгляда — не получится. Постоянно вращать головой с тяжелым устройством — это ад и мазохизм. Если ради развлечения народ еще может потерпеть пол часа — час, то работать 8 часов с этим никто не согласится или потребует доплату.

Вторая проблема, которую майкрософт так и не решила — это низкое качество трехмерного сканирования для наложения виртуальных объектов на реальный мир, все прыгает и скачет. Управление руками лагает и глючит. Играть и работать с этим никто не будет. На текущий момент похоже это можно решить только дополнительными устройствами/сканерами (тяжелыми и дорогими), метками и джойстиками, по крайней мере никто красивых решений не показывал.

Лично я для джойстиков-пальцев посоветовал бы хардварным разработчикам для управления использовать простые кольца на руках со спец-тиснением (или например видимых только в ИК), это сильно повышает точность и скорость. А еще не пытаться все снимать статичной камерой, пусть их будет 2-3 с управляемым углом (пусть следят за руками), это не так дорого как кажется (не нужны сервы, ведь тут не нужна микронная точность, хватит простых электромагнитов и легких зеркал).
+5
Неплохой маркетинг и минимум технических деталей.
Когда можно ждать более техническую статью? С ценами, разрешением, доступностью, ссылками на API / доки, временем работы и прочими немаркетинговыми вещами.
+1
Сегодня у нас небольшой анонс. Скоро расскажем о технических аспектах.
0
Спасибо, буду ждать.
PS Почему-то железные команды у MS работают хм… стабильнее и согласованнее, чем софтверные, что немного странно для изначально софтовой компании.
Конфликты отделов?
-2
Увидел врачей, сразу подумал про GITS.

image

Я надеюсь что эта технология будет жить и развиваться.
0
Интересно, как решили и решили ли вообще проблему синхронизации виртуального и реального миров? Ну, типа, чтобы виртуальный пациент не дёргался на реальном столе при повороте головы. Я вот знаю одну контору с мировым именем, которая с этим уже три года разобраться не может.
0
На видео выше прекрасно видно что проблему подергиваний не решили. Еще и дикий алиасинг. Короче не зря нам по три раза повторяют что этот продукт не пользовательский.
0
А я знаю как минимум 2 конторы с мировыми именами которые эту проблему решили. В медицине это решается несколькими способами, но базовый принцип один и тот же — общая точка отсчёта координат. У некоторых для этого используются магниты, у других измерение импеданса. Точка как правило вмонтирована в пол или операционный стол, на пациенте крепится датчик и вуаля. Эти методы кстати говоря используются для создания 3D карт внутренней поверхности сердца, которое подвижно, и пациент во время операции тоже ворочается.
0
Ого! А можно поподробнее? Я, например, говорю про вот эту контору. Они уже три года бьются над синхронизацией картинки прозрачной двери и самой двери. Используют для этого целую кучу обычных и инфракрасных камер, визуальные точки в салоне. Основная проблема в данный момент — это соединение всех девайсов трекинга по вайфай, что даёт задержку и изображение дергается по отношению к реальному миру.

Очень хотелось бы узнать поподробнее по методы синхронизации с помощью магнитов или импеданса. Просто впервые про это слышу.
0
Мне кажется что в ролике Hololens положения пациента вирутального и реального синхронизируются либо наличием какого-то внешнего датчика, либо наложением его собственной 3D модели (например МРТ скана)с привязкой по типу скелетной анимации как в motion capture.

Посмотрел ваше видео, в моём примере юзеркейс намного более узкоспециализированный, и его с трудом можно назвать даже дополненной реальностью. Это мой косяк конечно, но про навигаю напишу, возможно это будет полезно.

Опишу оба метода коротко.
1. Магниты — в пол операционной монтируется специальный блок«треугольник» в каждой вершине которого находится катушка испускающая магнитное поле с заданными параметрами. В инструменте (аблационный катетер) находятся датчики, взаимодействующие с этими магнитными полями посредством триангуляции.
image На основании ослабления или усилиения сигнала по мере удаления или приближения датчиков в пространстве — система определяет положение, не только широту, долготу и высоту но и горизонтальные наклон и поворот (инструмент цилиндрический, поэтому вращение определять практически бессмысленно). Для чего это используется — находясь инструментом внутри сердца, на 2-х мерном изображении, например с ангиографа или рентгена — трудно ориентироваться «по глубине» и в перчатках тактильные ощущения врача не всегда позволяют оценить насколько плотно инструмент плилегает к рабочей поверхности. Во вторых — внутри сердца находятся довольно деликатные структуры и их поврежедние может вызывать пожизненные проблемы или даже смерть. Карта помогает ориентироваться «изнутри». Чтобы система понимала где начинается пациент (операционный стол во время процедуры может менять положение в пространстве) на его тело крепятся специальные электроды с датчиками, в начале процедуры система колибруется, чтобы датчик на пациенте например был точкой отсчёта.

2. Импеданс — система работает несколько иным образом. На тело пациента крепятся 6 навигационных электродов, 4 из них образуют две пары непосредственно в области сердца, а ещё два крепятся на шею и левую ногу соответственно, каждая пара это концы виртуальной оси X,Y,Z соответственно. 6 электрод содержит датчик для калибровки системы отсчёта.
image
Когда в такой системе координат появляется инструмент (аблационный катетер) он служит своеобразным «ползунком», перемещаясь относительно каждой из осей — измеряется сопротивление от него до навигационных электродов. Получается своеобразная конструкция из 3-х виртуальных потенциометров. Из изменения импеданса система тоже триангулирует положение инструмента в пространстве.

У каждого метода есть свои плюсы и минусы, но есть варианты комбинированного исполнения где применяются обе технологии вместе. Точность в них сказочная.

Предположу что у Hololens, Google Glass и других, проблемы прежде всего связаны с тем что они пытаются сконцентрировать всё в одном устройстве и упираются в ограничения, связаные с масштабами и неоднородностью поля деятельности и использованием совершенно других типов навигации. Скажем чтобы нарисовать маршрут на асфальте такие очки полагаются скорее всего на GPS, и данные геолокации базовых станций, а там размах до 10 метров по точности.

Ну или пример с плакатом и стрелочкой из видео. Голова у человека крутится и система должна суметь не только распознать текст на плакате и найти соответствие для получения информации для выдачи пользователю, но и опознать «плоскость» к которой он прилежит, т.е. стену и прилепить и держать стрелочку согласно ориентации взгляда и положения очков в пространстве. Скорее всего это делается с помощью акселерометра, это энергоэффективно но артефакты в виде дрожания и т.д.

Это реализуемо при доступной вычислительной мощности и например если в плакате для упрощения такого взаимодействия есть крупные QR коды как для роботов на фабрике. Для той же самой триангуляции.

Ну или крестики фиксированной величины нанести на линзу камеры, чтобы дальность и масштабы объектов было распознавать легче.
+2
47 пикселей на один градус обзора.

Я так понимаю, это будет тот самый параметр, который будут любит все маркетологи и ради которого будут уменьшать батарею…
Каждый год только в США более миллиона пациентов падают в больницах, и 11 000 таких падений оказываются смертельными.

скользкие полы? недоперевод?
0
С кроватей, видимо, падают. На скользком полу едва ли можно успеть предвидеть падение и успеть вызвать медсестру, чтобы его предотвратить. :)
-1
Ну, то есть вы решили забыть опыт всей индустрии, в т.ч. и историю собственного успеха. Нам нужны простые и удобные устройства, которые используют все, которые будут на голове у каждого второго и будут использоваться для просмотра интернета и фоточек в соцсетях. Использоваться по любому поводу, как айфон. Они пролезут «снизу» и в проф. сектор, если надо.

Вместо этого вы делаете — что? Ага, специализированную вундервафлю с никому не нужной дополненной реальностью и попсовым 3D. Которое провалилось в гораздо более простых и удобных устройствах — 3D телевизорах.

Неужели никому в Microsoft не приходила идея сделать простой шлем типа мотоциклетного с экраном-забралом (который мы будем легко поднимать и опускать, когда надо)? У вас же почти всё есть, осталось-то — придумать удобное управление. Там море плюшек — куча места, можно воткнуть мощные батареи, хорошую начинку, придумать вентиляцию и чуть ли не обогрев. Но нет. Прозрачные 3D-очки. Дополненная реальность. $3500. Facepalm.
0
Мотоциклетный шлем тяжелый и в нем жарко. У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей. Из штатов можно за 200$ заказать.
0
Ну, первый смартфон Motorola тоже был тяжёлый, и слабый. Надо сделать

a). Нетяжёлый
b). Чтобы было нежарко.

Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.

У майкрософта есть дешевые mixed reality шлемы на той же платформе — и как раз с экраном-забралом, но на проводах и без батарей.
Быстрое гугление не помогло. Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор». Не дадите ссылку? Но на проводах и без батарей — это да, классно. Я про фоточки стоя в метро смотреть, а в ответ «без батарей». Супер.
0
Глядя на велосипедные шлемы, вспоминая что при необходимости можно и активное охлаждение делать — задача явно решаемая.
Решаемая, но нужная ли? Громоздить на голову здоровенную коробку, когда достаточно просто тонких пластиковых держателей. Смысл мотошлема — в защите, а в ВР-очках она в принципе не нужна.
Один какой-то шлак с железнодорожным вагоном, одетым на глаза. Явно не тонкий «мотоциклетный визор».
Я это к тому привел, что там экраны поднимаются. Да, там обычные экраны, линзы, большой объем, но и стоит оно копейки. А если делать тонкий визор — цена легко скакнет за 3500, так как железо потребуется явно не массовое.
Only those users with full accounts are able to leave comments. , please.