Comments 30
Это что, клуб анонимных основателей и CTO?
Есть ограничение — физическое разрешение очков. Оно должно быть намного больше чем у нормального экрана. К тому-же ограничивать рабочее поле мнимым виртуальным прямоугольником — просто глупо. Там уже не плоскостью нужно работать а с объёмом. Тут кнопки только для набора текста, а для навигации глаза и жесты
Не совсем соглашусь. На тему разрешения, даже если сейчас взять hololens или magic leap и поднять rdp — с этим можно работать. На тему жестов, если посмотреть на тот же хололенс, жест — это большее действие, чем нажать кнопку. Да, можно как-то юзать жесты, но не скажу что это удобнее, если под рукой есть альтернатива.
Трекинг глаз имеет огромный потенциал для оптимизации и сбора аналитики, но с точки зрения пользовательского ввода — мы это проходили в GearVR. Ввод через направления взгляда медленный. Про связку с ЭЭГ, где можно определить нажатие быстрее, чем просто фокус на одной точке — не могу ничего сказать, так как не пробовал.
Ограничивать прямоугольником — это текущая условность технологии. Хочется чтобы этого не было, но с этим уже можно работать. Сейчас технологии не готовы на большее к сожалению. Но если протестировать как гипотезу, на меджик липе или хололенсе — с этим реально можно работать. Но в обоих устройствах для такой конкретной задачи слишком много лишнего, типа того же «киннекта» в хололенсе.
Жесты прекрасны при работе с диегетическими интерфейсами, и там нужны голограммы. Но с точки зрения повседневных задач текстового ввода и серфинга, это похоже на изобретение неудобного велосипеда, когда уже существует удобное решение. Инновация ради инновации.
На тему разрешения, даже если сейчас взять hololens или magic leap и поднять rdp — с этим можно работать.
Да не получается с этим работать, хоть тресни. Текущая реализация векторного текста заточена под плоскость, без геометрических искажений — которые появятся автоматически при небольшом наклоне головы. Значит разрешение матрицы должно быть в несколько раз выше хороших мониторов. А матрицы для очков даже до мониторов ещё не добрались по разрешению.
Трекинг глаз имеет огромный потенциал
Я не говорил про полноценную навигацию, типа глазами передвигать документы. Но простейшая логическая навигация должна присутствовать. Допустим в фокусе один конкретный документ из десятка открытых — значит всё связанное с ним должно появляться автоматически на периферии.
Жесты прекрасны при работе с диегетическими интерфейсами
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Дак у тебя телефон — это целая сенсорная панель. Вопрос как её разбить.
Да не получается с этим работать, хоть тресни. Текущая реализация векторного текста заточена под плоскость, без геометрических искажений — которые появятся автоматически при небольшом наклоне головы. Значит разрешение матрицы должно быть в несколько раз выше хороших мониторов. А матрицы для очков даже до мониторов ещё не добрались по разрешению.
Ну я не скажу, что не получается. Браузер и интерфейсы в хололенсе воспринимаются вполне нормально. Максимум я сидел за ним правда 4 часа подряд.
Просто не получается на примере чего? Я беру за основу конкретный пример качества картинки в хололенсе первом. И то, как там работается с браузером. И скажем так, не предел мечтаний — но работать можно, текст читаем. В хололенсе втором говорят, что это ещё улучшили, но до него я пока не добрался.
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Вы пробовали это реально делать жестами? Хоть в хололенсе, хоть с лип моушеном прототип собирать? Там столько случаев неоднозначности, когда это банально неудобно. Может это конечно можно проработать. Но пока от этого нет тактильного отклика, иногда бывает тяжело сориентироваться в пространстве. При учёте того, что нормального оклюжена рук нет ни у кого в принципе. Может в холо втором появилось конечно.
Типа с точки зрения управления жестами можно не теоретизировать. Сколько там уже лет липмоушену? Прототипы спокойно собираются. Даже для трекинга глаз можно попробовать тоби (хотя не знаю насколько просто его найти сейчас, липмоушн то нетрудно)
Мы немного экспериментировали на тему жестов, плюс было много всяких приколов с хололенсом (когда пользователь через раз может сделать navigation gesture) Там всё не так тривиально по сравнению со стандартными методами ввода. На тему очень широкого интерфейса, речь в первую очередь про виртуальный дисплей. То есть если в AR даже несколько соседствующих дисплеев они предполагаются стандартными окнами с разрешением скажем 16х9 (аспект, который пытаются поддерживать большинство разработчиков на данный момент)
С точки зрения сверхшироких пространств или переключения рабочих столов. Хороший вопрос, можно подумать, но пока мне слабо верится что жесты это самое нативное без тактильного отклика. В липмоушене то за 1.5 года использования я нашёл всего одно реально удобное применение — переключение музыки. Зум через питч, скролл страницы жестами — это дико неудобно.
Круто, но могут ли текущие AR-очки показывать FullHD-монитор так, чтобы без напряжения было видно каждый отдельный пиксель, как на мониторе?
Если могут, зачем нужны новые очки, достаточно сделать софт?
Если не могут, имеется ли у вас техническое решение?
А то я тоже могу предложить «инновацию»: есть неудобство, что телефон надо заряжать. Вот сделать бы вечную батарейку… Как сделать? Не знаю, это тактический вопрос, моё дело предложить стратегию :)
Если могут, зачем нужны новые очки, достаточно сделать софт?
Если не могут, имеется ли у вас техническое решение?
А то я тоже могу предложить «инновацию»: есть неудобство, что телефон надо заряжать. Вот сделать бы вечную батарейку… Как сделать? Не знаю, это тактический вопрос, моё дело предложить стратегию :)
Максимальное разрешение у хололенса если мне не изменяет память 720p. Я не до конца понимаю зачем для текста именно fullHD, но допустим.
Я не предлагаю инновацию. Я предлагаю сценарий использования. У очков помимо инженерных проблем, есть проблемы чисто UX. Это по сути как рассматривать, чем кпк отличались от айфона. В основном UX. Если взять оптику хололенс, выпилить всё лишнее, сделать вычислительным модулем телефон и решать одну задачу — виртуальный дисплей, это может сработать и быть полезным. Конечно хочется ультимативные очки, которые могут всё. Но мое предложение урезать функционал и перестроить UX на конкретную задачу, перенести часть функционала на смартфоны, а не сделать ультимейт устройство. Поэтому я не до конца понимаю сравнение с батарейкой :)
На тему технического решения — это скорее UX концепция сценария использования устройства. Наша компания занимается именно разработкой софта, и я больше понимаю именно UX, а не инженерное решение. В текущем сетапе UX неудобен, так как вся система не рассчитана на такой сценарий эксплуатации. И вот тут «если возможно». Если возможно было бы в меджик липе использовать в качестве вычислительного модуля не их «cd плеер», а именно мобильный телефон (пусть по проводу, пусть для этой урезанной задачи) Это было бы любопытно.
Урезанной в плане, что виртуальный дисплей не должен иметь SLAM. Достаточно IMU и возможности настройки скажем расстояния до монитора. С чем просто иннерциальный трекинг прекрасно справится
Зачем урезать функционал и убирать SLAM? На примере того же аркита, если посмотреть энергопотребление телефона — SLAM довольно дорогая штука. Конечно же это вау, когда ты на реальный стол можешь поставить виртуальный объект. В первый раз — прям магия. Но с функциональной точки зрения это довольно необязательная штука, которая может не нагружать гпу вычислениями. Плюс с точки зрения форм фактора того же меджик липа — если убрать датчики, не надо придумывать, как их вписать в дизайн очков. От оптики никуда не денешься, и в данный момент сделать RayBan c AR не получится. Но если упростить очки до телефона в качестве первоначального вычислительного модуля, аналог rdp + 5g для основного набора вычислений, а очки — это просто устройство вывода, в котором трекинг себя ведёт, как на окулус Го (есть шейная кинематика, экран висит в пространстве, но подойти к нему нельзя, можно только отрегулировать положение) То это может быть функционально удобно.
Телефон в качестве пульта — это произвольный пульт под конкретное приложение. То есть это должно поддерживаться на уровне платформы, чтобы разработчикам было удобно разрабатывать такие пульты под свои приложения. И это в сущности очки — виртуальный дисплей.
На тему самого компактного рабочего места. В домашних условиях я всё больше склоняюсь к VR решению, когда разрешение дорастёт, так как это вопрос фокуса внимания. В VR в разы проще сконцентрироваться на работе. Но в домашних условиях можно поставить 2-3 монитора и иметь очень удобное рабочее место. С точки же зрения походных условий, в VR стрёмно сидеть и работать в кафе скажем «как следить за вещами». При этом с точки зрения походных мониторов, я видел интересное решение от ASUS кажется. Где очень компактный монитор, который можно дополнительно закинуть в сумку.
Просто основная идея, которую я возможно недостаточно однозначно отразил в статье. Думая на тему того, что невозможно без AR очков, если брать не новые паттерны взаимодействия с информацией и т.п. А текущую ситуацию и классические задачи, невозможно дисплей ноутбука сделать компактным. Можно ноутбук уместить в более компактный форм фактор даже, типа взять mini PC, аля mac mini. И при этом это всё будет весить меньше, и занимать меньше места в сумке. Но с приходом 5G возможно стриминг заиграет новыми красками, и можно будет купить подписку на комп с парой 1080, ssd и 32 гб оперативы за вменяемые деньги, а очки с телефоном использовать именно, как дисплей и клавиатуру к этой красоте. Да, там есть вопросы, и возможно инженерные. Но на уровне MVP можно представить себе Magic Leap или Hololens (для тех, кто с ними работал) и представить такой сценарий использования. И условно задать себе вопрос: «интересно ли это было бы мне?» В этом основная цель статьи. А не предложить инновацию. Когда-нибудь космические корабли будут бороздить просторы галактики, а мы будем сидеть дома и работать в VR, чтобы не тратить время на дорогу и не терять коммуникацию. И так далее.
Телефон в качестве пульта — это произвольный пульт под конкретное приложение. То есть это должно поддерживаться на уровне платформы, чтобы разработчикам было удобно разрабатывать такие пульты под свои приложения. И это в сущности очки — виртуальный дисплей.
На тему самого компактного рабочего места. В домашних условиях я всё больше склоняюсь к VR решению, когда разрешение дорастёт, так как это вопрос фокуса внимания. В VR в разы проще сконцентрироваться на работе. Но в домашних условиях можно поставить 2-3 монитора и иметь очень удобное рабочее место. С точки же зрения походных условий, в VR стрёмно сидеть и работать в кафе скажем «как следить за вещами». При этом с точки зрения походных мониторов, я видел интересное решение от ASUS кажется. Где очень компактный монитор, который можно дополнительно закинуть в сумку.
Просто основная идея, которую я возможно недостаточно однозначно отразил в статье. Думая на тему того, что невозможно без AR очков, если брать не новые паттерны взаимодействия с информацией и т.п. А текущую ситуацию и классические задачи, невозможно дисплей ноутбука сделать компактным. Можно ноутбук уместить в более компактный форм фактор даже, типа взять mini PC, аля mac mini. И при этом это всё будет весить меньше, и занимать меньше места в сумке. Но с приходом 5G возможно стриминг заиграет новыми красками, и можно будет купить подписку на комп с парой 1080, ssd и 32 гб оперативы за вменяемые деньги, а очки с телефоном использовать именно, как дисплей и клавиатуру к этой красоте. Да, там есть вопросы, и возможно инженерные. Но на уровне MVP можно представить себе Magic Leap или Hololens (для тех, кто с ними работал) и представить такой сценарий использования. И условно задать себе вопрос: «интересно ли это было бы мне?» В этом основная цель статьи. А не предложить инновацию. Когда-нибудь космические корабли будут бороздить просторы галактики, а мы будем сидеть дома и работать в VR, чтобы не тратить время на дорогу и не терять коммуникацию. И так далее.
Не пробовал HoloLens, но в VR (Vive Cosmos) тексты читать очень некомфортно.
Проблема в том, что хорошо виден текст строго в середине поля зрения. Обычно голова неподвижна, а глаза перемещаются по строчкам. В VR же требуется держать взгляд строго вперёд, и чтобы прочитать что-то мелкое сбоку от направления взгляда, лучше повернуть голову, чтобы смотреть прямо на текст.
Из этого я делаю вывод, что технология не готова для работы с текстом в VR.
Проблема в том, что хорошо виден текст строго в середине поля зрения. Обычно голова неподвижна, а глаза перемещаются по строчкам. В VR же требуется держать взгляд строго вперёд, и чтобы прочитать что-то мелкое сбоку от направления взгляда, лучше повернуть голову, чтобы смотреть прямо на текст.
Из этого я делаю вывод, что технология не готова для работы с текстом в VR.
В VR безусловно. Там ещё и на расстоянии пиксели видны. В AR это воспринимается чуть иначе, так как перед глазами всегда есть реальность. В VR там проблема не только в оптических искажениях. Особенно на космосе. На пимакс 4к всё читается получше или на Vive Pro. Но всяких мобильных шлемах нужно оочень аккуратно подходить к шрифтам, их начертанию и расстояниям, чтобы это хоть как-то смотрелось.
можно будет купить подписку на комп с парой 1080, ssd и 32 гб оперативыИ работать с этим в 720p с мыльной после видеокодека картинкой? Такое себе удовольствие.
Ну на самом деле такой набор железа в целом нужен, чтобы просто запускать тяжелые задачи, которые не требуют того, чтобы на них смотреть во время исполнения (рендер к примеру). Если мы берём работу с текстом, в том же хололенсе в браузере он вполне спокойно читается. И если поднимать окно IDE, то вывод будет окей. И там основной проблемой будет задержка, как и в современном RDP в случае виртуалки в облаке.
Для игр много кто сейчас верит же в стриминг. Чтобы на условном макбуке играть в RDR 2. Правда в этом плане у меня больше вопросов к 5G. Так как Verizon в америке обещает латенси меньше 30мс до вышки. www.verizon.com/about/news/customers-chicago-and-minneapolis-are-first-world-get-5g-enabled-smartphones-connected-5g То есть если мы возьмём верхнюю грань в 30 мс до вышки, дальше вопрос, какая там будет магистраль и какое латенси. Если у нас чистый протокол аля RDP, то есть мы на клиенте рисуем чисто кадры и шлём команды на сервер. То с точки зрения всей этой истории мешать больше всего будет задержка до удалённого сервера. И вопрос, что пользователь сможет делать с мощностью телефона. Я читал правда, что кто-то обещает задержку в 1мс, и это уже выглядит интересно, но не помню кто.
Так как по своей сути решение — это виртуальный дисплей, а не полноценный AR. То задержки нужно брать десктопные. И тут основной разницей между игровым стримингом на дектоп, и стримингом в этот дисплей — будет хардварный энкодинг видео-потока. Так как если условно суммарно от отправки сигнала, до получения кадра проходить будет в районе 500мс — у тебя при печати текст будет обновляться через 0.5 секунды, что довольно сильно бесит. В том же хромовском RDP.
Для игр много кто сейчас верит же в стриминг. Чтобы на условном макбуке играть в RDR 2. Правда в этом плане у меня больше вопросов к 5G. Так как Verizon в америке обещает латенси меньше 30мс до вышки. www.verizon.com/about/news/customers-chicago-and-minneapolis-are-first-world-get-5g-enabled-smartphones-connected-5g То есть если мы возьмём верхнюю грань в 30 мс до вышки, дальше вопрос, какая там будет магистраль и какое латенси. Если у нас чистый протокол аля RDP, то есть мы на клиенте рисуем чисто кадры и шлём команды на сервер. То с точки зрения всей этой истории мешать больше всего будет задержка до удалённого сервера. И вопрос, что пользователь сможет делать с мощностью телефона. Я читал правда, что кто-то обещает задержку в 1мс, и это уже выглядит интересно, но не помню кто.
Так как по своей сути решение — это виртуальный дисплей, а не полноценный AR. То задержки нужно брать десктопные. И тут основной разницей между игровым стримингом на дектоп, и стримингом в этот дисплей — будет хардварный энкодинг видео-потока. Так как если условно суммарно от отправки сигнала, до получения кадра проходить будет в районе 500мс — у тебя при печати текст будет обновляться через 0.5 секунды, что довольно сильно бесит. В том же хромовском RDP.
Если бы существующие очки заменяли монитор по удобству работы хотя бы в стационарных условиях, то уже давно раскупались бы как горячие пирожки) Но этого не происходит же. Мне вот 4к не хватает, на 1080p уже некомфортно смотреть, да и влазит мало информации. Маленькие дисплейчики теоретически можно на кремниевых пластинах выполнять по техпроцессу обычной кремниевой электроники с огромным разрешением, да вот только что-то никто из гигантов не торопится в это вкладывать ( А так круто было бы, по 8к в каждый глаз, как кино в IMAX, только всегда с собой.
Работу с текстом по мне так лучше уж локально выполнять, накрайняк автокомплит вынести на сервер через LSP. Мощности мобильных процессоров сейчас вполне хватит и для офисных задач, и для нетяжёлой IDE, и для всяких кадов, бухгалтерий и прочего рабочего софта, рендерить не только лишь всем нужно.
Работу с текстом по мне так лучше уж локально выполнять, накрайняк автокомплит вынести на сервер через LSP. Мощности мобильных процессоров сейчас вполне хватит и для офисных задач, и для нетяжёлой IDE, и для всяких кадов, бухгалтерий и прочего рабочего софта, рендерить не только лишь всем нужно.
Дак потому что они не рассчитаны на эту задачу. И проблемы описаны в статье и выше. Текущие очки заточены вообще под другую задачу. По этой причине они и неудобны, как монитор. И вот тут вопрос чисто UX. Ну и я не уверен, что каждый купил бы себе монитор за 3.5к долларов (кажется столько стоит хололенс) Такие мониторы осмысленны и может себе позволить только видео продакшен, но для этой задачи уже очки абсолютно бесполезны.
С точки зрения домашнего использования, как виртуальный телевизор — очки это устройство на одного человека, в отличии от телевизора. Поэтому тоже хороший вопрос на тему стационарного использования, так как дома вопрос приватности обычно не стоит. А вот в пути и в дороге это скорее плюс.
Я так и не добрался до этих очков. Может они в целом представляют из себя то, что и описано в статье. https://www.vuzix.com/Products/Blade-Smart-Glasses
Но я пока в это не верю, так как вряд ли там именно удобный UX. Но и цена 760€, и по описанию по сути делают именно это.
По ссылке вообще не указано разрешение дисплея. На алике 720p очки за 9-10 т.р. есть с андроидом.
Такие мониторы осмысленны и может себе позволить только видео продакшен, но для этой задачи уже очки абсолютно бесполезны.Ну так да, но в статье вроде речь шла о том, как сделать хорошо и полезно, а не как хололенс)
В общем полное обоснование в комментарии ниже :) Там думаю ответ и на такой вопрос. Концепция все же в первую очередь не про инженерное решение. Я мало понимаю в волноводах и проблемах оптики. Я смотрю с точки зрения пользователя и UX того же hololens. В целом в браузере там копаться можно, но работа с текстом — это дикая боль. Но не в плане чтения, а в плане ввода. В данный момент я пока не видел очки, которые предоставляют подобный сценарий использования в удобном формате. Они пытаются сразу «переосмыслить мир» и рассказать пользователю, что голограммы это круто. Не имея в этом совершенно никакой экспертизы (как и все мы, так как технология новая, мало что исследовано). Допустим вернёмся к примеру айфона, как феномену. Эпл тогда делал не так, он сначала упростил большую часть повседневных задач пользователей и только потом уже там появились приложения под профессиональные задачи. С инженерной точки зрения насколько я знаю сейчас невозможно получить 4к в каждый глаз, и даже FullHD в AR. Просто из-за проблем связанных с физикой и оптикой. Но даже если забыть про эту деталь, очки сейчас никому не нужны потому что они решают очень узкие задачи, и не решают основные проблемы пользователей в повседневной жизни — удобнее.
Допустим есть такая идея. что с приходом трекинга лица будет можно работать из дома не теряя коммуникацию в VR (не совсем представляю пока как) Но концептуально это позволяет не тратить во-первых время людей на дорогу до работы, во-вторых, в целом разгружает транспортную инфраструктуру, что выливается в миллиарды долларов и вообще красоту со многих точек зрения. Для этого в VR решаются вполне понятные задачи с точки зрения коммуникации пользователей. AR же — это в таком контексте походный режим, так как в домашнем режиме в VR проще будет сконцентрироваться на работе. Понятно, что для этого не подходит шлем типа ГО из-за низкого разрешения, но суть даже не в этом. Даже когда технологии дорастут, это не изменится в один день, так как будет куча противников этого дела. Хоть будет огромная доказательная база от именитых университетов о том, что «это хорошо». Поэтому с точки зрения устройства здесь и сейчас идея концепта попробовать как-то скомбинировать существующие технологии с существующими сценариями использования устройств. То что это будет вау, супер, все захотят — хз. Пока я уверен в одном на 80%. Чтобы не выпустил эпл, первую версию по адекватной цене купят почти все, кто пользуется их техникой. Поэтому для них очень важно выпустить правильное устройство, которое пользователи захотят обновлять.
Допустим есть такая идея. что с приходом трекинга лица будет можно работать из дома не теряя коммуникацию в VR (не совсем представляю пока как) Но концептуально это позволяет не тратить во-первых время людей на дорогу до работы, во-вторых, в целом разгружает транспортную инфраструктуру, что выливается в миллиарды долларов и вообще красоту со многих точек зрения. Для этого в VR решаются вполне понятные задачи с точки зрения коммуникации пользователей. AR же — это в таком контексте походный режим, так как в домашнем режиме в VR проще будет сконцентрироваться на работе. Понятно, что для этого не подходит шлем типа ГО из-за низкого разрешения, но суть даже не в этом. Даже когда технологии дорастут, это не изменится в один день, так как будет куча противников этого дела. Хоть будет огромная доказательная база от именитых университетов о том, что «это хорошо». Поэтому с точки зрения устройства здесь и сейчас идея концепта попробовать как-то скомбинировать существующие технологии с существующими сценариями использования устройств. То что это будет вау, супер, все захотят — хз. Пока я уверен в одном на 80%. Чтобы не выпустил эпл, первую версию по адекватной цене купят почти все, кто пользуется их техникой. Поэтому для них очень важно выпустить правильное устройство, которое пользователи захотят обновлять.
«телефон превращается в пульт или полноэкранную клавиатуру в зависимости от задачи»
Превращается в плохой пульт и ещё более плохую клавиатуру.
Потому что модные сенсорные панели абсолютно непригодны к работе вслепую. И уж тем более к быстрой работе вслепую.
Я на своём потёртом thinkpad набираю текст со скоростью 220-270 знаков в минуту и вношу правки не отрываясь от экрана. Пропробуйте сделать это на модном прогрессивном айпаде.
Превращается в плохой пульт и ещё более плохую клавиатуру.
Потому что модные сенсорные панели абсолютно непригодны к работе вслепую. И уж тем более к быстрой работе вслепую.
Я на своём потёртом thinkpad набираю текст со скоростью 220-270 знаков в минуту и вношу правки не отрываясь от экрана. Пропробуйте сделать это на модном прогрессивном айпаде.
Согласен. Но тут вопрос что важнее, скорость печати или компактность. С точки зрения скорости печати пока нет ничего лучше клавиатуры. Но я и не сравниваю с клавиатурой, как альтернативой. Я сравниваю именно с голосовым вводом, вводом через жесты, вводом через взгляд. Если рассматривать как замену ноуту, да надо сравнить с этим, и тут нужна блютус клавиатура скорее всего. Хотя надо попробовать полноэкранную клавиатуру телефона сделать и посмотреть скорость, так как на обычной телефонной я печатаю вслепую. Но вопрос какова скорость печати безусловно (и она конечно медленнее, чем на клавиатуре)
сейчас есть куча примочек для геймеров типа «ружей с отдачей» или «брони» и «перчаток» эмулирующие тактильную отдачу… на мой взгляд надо смотреть в эту сторону… одел «простенькую»-умную перчатку… сел за стол и вот она тебе эмулирует нажатие клавиш, а приложение рисует клавиатуру на столе… хочешь переключаешься в жесты, и управляешь жестами, если в приложении это удобно, опять же «мышка» (встроить аир-маус в перчатку это вообще задача для школьника)… в результате получаем относительно юзабельный гаджет… кстати нечто подобное если помните было в ооочень стареньком фильме «Джони-мнемоник»… он одевал шлем и перчатки и работал…
Использовать смартфон как джостик далеко не всегда удобно и уж тем более как замену клавиатуре полноценной, это просто кошмарно…
Использовать смартфон как джостик далеко не всегда удобно и уж тем более как замену клавиатуре полноценной, это просто кошмарно…
Ох уж эти юные любители киберпанка. Десятилетия идут, а они всё не меняются.
Грани и поверхности клавиш вам тоже эта перчатка сэмулирует? А ведь при слепом контроле мозг именно на форму органов управления реагирует.
Пробовали айрмаусом сделать что-то, отличное от тыканья в аршинные плитки интерфейса винды? Попробуйте.
Грани и поверхности клавиш вам тоже эта перчатка сэмулирует? А ведь при слепом контроле мозг именно на форму органов управления реагирует.
Пробовали айрмаусом сделать что-то, отличное от тыканья в аршинные плитки интерфейса винды? Попробуйте.
именно тактильное ощющение от поверхности клавиши оно и сэмулирует, по сути это лишь легкое сопротивление в подушечках пальцев… с гранями сложнее… но на смартфоне ты тоже не чувствуешь ни поверхности не граней… я не пропагандирую заменить все клавиатуры перчатками… здесь вроде рассматриваются чисто возможные альтернативы… и я лишь сказал что вместо смартфона как пульта управления для очков, можно использовать другие средства…
А что такое ты еще делаешь маусом кроме тыканья в плитки? Рисуешь? для этого есть отдельные граф планшеты… выделять текст? я нормально могу выделить текст аир-маусом… если ты не обладашь достаточной моторикой или умением это твои проблемы…
П.С.
То есть впихнуть рдп в очки с дополненной реальностью для работы ты расматриваешь, а умные перчатки — это киберпанк — это фу… мне кажется у тебя странные представления о будущем…
А что такое ты еще делаешь маусом кроме тыканья в плитки? Рисуешь? для этого есть отдельные граф планшеты… выделять текст? я нормально могу выделить текст аир-маусом… если ты не обладашь достаточной моторикой или умением это твои проблемы…
П.С.
То есть впихнуть рдп в очки с дополненной реальностью для работы ты расматриваешь, а умные перчатки — это киберпанк — это фу… мне кажется у тебя странные представления о будущем…
даже клавиатура телефона будет удобнееПроблема в том, что вы выбираете из двух зол. В какой-то степени ввод с телефона может быть удобнее, чем виртуальная клавиатура, но совершенно точно это не так удобно, как обычная настольная клавиатура. А если взять чуть более широкий спектр задач (3D-моделирование, рисование, черчение и т.п.), то тут уже возможны варианты: спектр возможных виртуальных инструментов в 3D ограничен только фантазией разработчика. Скажем, сейчас в ArCore есть детектирование плоскостей, следовательно любая подходящая поверхность перед вами может стать полноразмерной клавиатурой. При должном уровне распознавания движения пальцев — не знаю, magic leap такое может сейчас, нет?
чем ввод текста в воздухе без какого либо тактильного откликаМожет в сторону тактильного отклика копать? ;) с трендом на миниатюризацию, это могут быть вовсе не монструозные перчатки, а что-то почти не заметное в повседневном ношении…
Ну или можно копать в сторону каких-то еще контроллеров ввода… у нас не так много вариантов на самом деле. С чем согласен — интеграция с телефоном в качестве одного из вариантов (как и с другими устройствами ввода — той же клавиатурой и мышью, например) видится вполне логичным.
Ну скажем так, я разбирал случай, который кажется самым компактным и удобным, здесь и сейчас. С точки зрения трекинга рук в него умеет пока только hololens 2 и с огромной задержкой. Возможно это просто логичный переходный этап. Так как сейчас телефон есть много у кого, и оптика уже позволяет собрать нечто подобное. Задач безусловно много, но они профессиональные. Большая же часть жизни у нас сейчас связана с текстовым вводом.
Понятное дело хочется и разрешение 4к в каждый глаз, и чтобы ввод был с тактильным откликом (хотя с телефонами на эту проблему как-то забили, а текстов с них печатается уйма) Но в данный момент это невозможно, как показала практика компаний, в которые были влиты миллиарды долларов.
Если рассматривать это с точки зрения «когда-нибудь». Может распознавание текста дойдёт до комфортного уровня, это станет частью нашей жизни, и это решит ввод сообщений в соц. сетках. Так как по сути конечно печатать в разы приватнее, но раньше все говорили на улицах по телефону и никого это не смущало. Может все сервисы прийдут к именно пространственным интерфейсам, а обработка информации уже будет по большей части не текстовой, а в виде картинок, образов, компонент. В целом можно себе представить язык, который состоит из чисто визуальных образов. Но в данный момент времени каждый человек печатает просто тонны текста. Если не по работе, то в социальных сетях и т.п. Какая-то часть во всю использует голосовые сообщения, но даже с точки зрения работы на данный момент представление голосовых сообщений не является удобным. Так как когда вы что-то обсуждаете по работе, часто вам бывает нужна навигация по этим сообщениям. В данный момент времени (хотя в целом задача с какой-то точностью решаема) в мессенджерах такой возможности нет, и интерфейс на это не рассчитан.
Просто пока мы на подкасте по AR обсуждали вопрос «зачем сейчас нужны очки?». То есть условно за что вы бы могли отдать 1к$, если не фантазировать о космических кораблях, а взять текущие технологии и попробовать их концептуально переосмыслить? Я пока прихожу к мнению, что они должны упрощать решение повседневных задач. Какие задачи они могут упростить на текущем уровне технологий? По моему опыту работы с hololens и magic leap — виртуальный дисплей. Так как всё там нормально читается. Но я беру не совсем уж частные задачи для которых нужно кастомное решение, которое будет хоть как-то полезно только мне, как скажем вполне понятный кейс рабочего и логистики на скажем складе. А решение для чего-то общего, чем пользователи занимаются каждый день. Возможно это условно пятое колесо к телеге, чтобы это понять, на мой взгляд, в первую очередь надо собрать прототип и попробовать по пользоваться. Но во всех остальных случаях очки интересны для конкретных групп пользователей, так как они решают конкретно их проблемы. Если мы не берём «прикольно» и людей, кто может за «прикольно» отдать 3.5к долларов. Или даже 1к$.
Второй же проблемой «прикольно» является цикл обновления устройства. Если в технологию вложены миллиарды, то наверное компании хочется, чтобы после того как все купили Hololens 1, те же пользователи побежали за Hololens 2 при его выходе. Но если оно валяется на полке, после того как им неделю попользовались, я думаю немного народу побежит за второй, третьей, N-ой версией.
Потребность в концептуально новой железке для компаний типа Apple обусловлена чисто состоянием рынка. Так как мобильный рынок постепенно выходит на плато и прекращает расти www.statista.com/statistics/263437/global-smartphone-sales-to-end-users-since-2007 А компании хотят расти. И тут возникает вопрос, какое устройство было бы интересно пользователю здесь и сейчас. Может это AR, может это VR. Но есть задуматься, какие задачи очки чисто концептуально решают удобнее, чем смартфон — это навигация, и то для чего смартфон маленький. Все новые виды взаимодействия, какие-то интересные механики — пользователям надо будет им учиться. На телефонах скажем пришлось привыкать к сенсорной клавиатуре. И к этому не было бы вопросов. Если бы скажем ввод жестами, трекингом глаз, хенд трекингом был бы концептуально удобнее и лучше, чем простая синхронизация со смартфоном. Которая не так сложно делается.
Понятное дело хочется и разрешение 4к в каждый глаз, и чтобы ввод был с тактильным откликом (хотя с телефонами на эту проблему как-то забили, а текстов с них печатается уйма) Но в данный момент это невозможно, как показала практика компаний, в которые были влиты миллиарды долларов.
Если рассматривать это с точки зрения «когда-нибудь». Может распознавание текста дойдёт до комфортного уровня, это станет частью нашей жизни, и это решит ввод сообщений в соц. сетках. Так как по сути конечно печатать в разы приватнее, но раньше все говорили на улицах по телефону и никого это не смущало. Может все сервисы прийдут к именно пространственным интерфейсам, а обработка информации уже будет по большей части не текстовой, а в виде картинок, образов, компонент. В целом можно себе представить язык, который состоит из чисто визуальных образов. Но в данный момент времени каждый человек печатает просто тонны текста. Если не по работе, то в социальных сетях и т.п. Какая-то часть во всю использует голосовые сообщения, но даже с точки зрения работы на данный момент представление голосовых сообщений не является удобным. Так как когда вы что-то обсуждаете по работе, часто вам бывает нужна навигация по этим сообщениям. В данный момент времени (хотя в целом задача с какой-то точностью решаема) в мессенджерах такой возможности нет, и интерфейс на это не рассчитан.
Просто пока мы на подкасте по AR обсуждали вопрос «зачем сейчас нужны очки?». То есть условно за что вы бы могли отдать 1к$, если не фантазировать о космических кораблях, а взять текущие технологии и попробовать их концептуально переосмыслить? Я пока прихожу к мнению, что они должны упрощать решение повседневных задач. Какие задачи они могут упростить на текущем уровне технологий? По моему опыту работы с hololens и magic leap — виртуальный дисплей. Так как всё там нормально читается. Но я беру не совсем уж частные задачи для которых нужно кастомное решение, которое будет хоть как-то полезно только мне, как скажем вполне понятный кейс рабочего и логистики на скажем складе. А решение для чего-то общего, чем пользователи занимаются каждый день. Возможно это условно пятое колесо к телеге, чтобы это понять, на мой взгляд, в первую очередь надо собрать прототип и попробовать по пользоваться. Но во всех остальных случаях очки интересны для конкретных групп пользователей, так как они решают конкретно их проблемы. Если мы не берём «прикольно» и людей, кто может за «прикольно» отдать 3.5к долларов. Или даже 1к$.
Второй же проблемой «прикольно» является цикл обновления устройства. Если в технологию вложены миллиарды, то наверное компании хочется, чтобы после того как все купили Hololens 1, те же пользователи побежали за Hololens 2 при его выходе. Но если оно валяется на полке, после того как им неделю попользовались, я думаю немного народу побежит за второй, третьей, N-ой версией.
Потребность в концептуально новой железке для компаний типа Apple обусловлена чисто состоянием рынка. Так как мобильный рынок постепенно выходит на плато и прекращает расти www.statista.com/statistics/263437/global-smartphone-sales-to-end-users-since-2007 А компании хотят расти. И тут возникает вопрос, какое устройство было бы интересно пользователю здесь и сейчас. Может это AR, может это VR. Но есть задуматься, какие задачи очки чисто концептуально решают удобнее, чем смартфон — это навигация, и то для чего смартфон маленький. Все новые виды взаимодействия, какие-то интересные механики — пользователям надо будет им учиться. На телефонах скажем пришлось привыкать к сенсорной клавиатуре. И к этому не было бы вопросов. Если бы скажем ввод жестами, трекингом глаз, хенд трекингом был бы концептуально удобнее и лучше, чем простая синхронизация со смартфоном. Которая не так сложно делается.
Когда осваивал HoloLens несколько лет назад, посещали в чём-то (не во всём) похожие мысли, самым фундаментальным концептуальным недостатком прибора показалось его позиционирование как некой самостоятельной и самодостаточной «вещи в себе». Оно в этом качестве какое-то бессмысленное: смотришь, как голографический пёсик у тебя гуляет по столу — о, прикольно! Пытаешься хоть что-то практическое попробовать сделать — ужас-ужас, глазированный ужасом ужас с начинкой из ужаса и стойкое ощущение, что тебе вырвали руки и вставили туда, где уже есть ноги, к тому же, неправильной стороной. Казалось, что в качестве дополнительного «аксессуара» к обычному компьютеру оно могло бы гораздо лучше зайти (типа как VR-шлем, только AR).
Хотел попробовать сделать себе виртуальный голографический монитор — ну, такой, чтобы поставить рядом с настоящим монитором, еще один (или два, или пять). Потом подумал, а зачем монитор? Не лучше ли будет прямо как бы окошки вытаскивать из монитора и вешать вокруг себя в реальном мире, где захочешь? Сделал ранний и кривой прототип, но, в каком-то приближении, «с этим можно работать» (с). Технически моя реализация выглядела так: на компьютере запускался «сервер», который делал скриншоты нужных окон и слал картинки на HoloLens, а тот уже рисовал их в пространстве измененной реальности. К сожалению, сделать то же самое не криво в рамках существующих ограничений OS Windows оказалось невозможно (ну или я не нашёл способа) — можно быстро и хорошо делать снимок всего экрана, но не отдельного окна, которое, тем более, не активно, не в фокусе или вообще задвинуто за границы монитора (надо послать окну сообщение WM_PRINT, а как оно отреагирует — оно само будет решать, многие программы тупо ничего не возвращали). Тем не менее, можно было уже в такой реализации «вынести наружу», допустим, мессенджер, почту, хелп какой-нибудь, терминалов несколько штук. Вот кабы ещё этот девайс не был таким громоздким, да обзор вниз и в стороны не ограничивал, да FOV побольше, да дистанцию отрисовки позволял поближе, да если бы, да кабы…
Хотел попробовать сделать себе виртуальный голографический монитор — ну, такой, чтобы поставить рядом с настоящим монитором, еще один (или два, или пять). Потом подумал, а зачем монитор? Не лучше ли будет прямо как бы окошки вытаскивать из монитора и вешать вокруг себя в реальном мире, где захочешь? Сделал ранний и кривой прототип, но, в каком-то приближении, «с этим можно работать» (с). Технически моя реализация выглядела так: на компьютере запускался «сервер», который делал скриншоты нужных окон и слал картинки на HoloLens, а тот уже рисовал их в пространстве измененной реальности. К сожалению, сделать то же самое не криво в рамках существующих ограничений OS Windows оказалось невозможно (ну или я не нашёл способа) — можно быстро и хорошо делать снимок всего экрана, но не отдельного окна, которое, тем более, не активно, не в фокусе или вообще задвинуто за границы монитора (надо послать окну сообщение WM_PRINT, а как оно отреагирует — оно само будет решать, многие программы тупо ничего не возвращали). Тем не менее, можно было уже в такой реализации «вынести наружу», допустим, мессенджер, почту, хелп какой-нибудь, терминалов несколько штук. Вот кабы ещё этот девайс не был таким громоздким, да обзор вниз и в стороны не ограничивал, да FOV побольше, да дистанцию отрисовки позволял поближе, да если бы, да кабы…
Ну вот на тему менее громоздкого можно посмотреть на magic leap или NReal Light. Где сами очки не самостоятельное устройство по сути. NReal Light вообще обещают около 90 грамм веса. И подключение как раз к телефону всего за 500$. Может куплю и потестирую попозже. Но основной вопрос всё же, как будет построена система на борту при связке с этими очками.
А я бы хотел просто удобные носимые очки для вывода всякой вспомогательной информации: время, навигация, уведомления о сообщениях, возможно какие-то странички, чтобы подглядывать в них по необходимости. В принципе, даже не требуется выводить изображение по центру или перерисовывать её в зависимости от наклона головы. Что-то типа google glass с нормальным разрешением.
По этому пути пошла компания North. Как говорит их команда 'Мы бы хотели, чтобы люди перестали сутулиться, а смотрели прямо перед собой сквозь наши очки'. Другой вопрос, что очки не все любят носить и почему-то индустрия об этом забывает. Да, очки прибавляют 'интеллектуальности', но комфорт однодневных линз и очков — это как бизнес-класс в ОАЭ и чартер в Турцию.
Sign up to leave a comment.
Концепция очков дополненной реальности. Моя идеальная AR гарнитура, которая возможна