Comments 30
Не совсем соглашусь. На тему разрешения, даже если сейчас взять hololens или magic leap и поднять rdp — с этим можно работать. На тему жестов, если посмотреть на тот же хололенс, жест — это большее действие, чем нажать кнопку. Да, можно как-то юзать жесты, но не скажу что это удобнее, если под рукой есть альтернатива.
Трекинг глаз имеет огромный потенциал для оптимизации и сбора аналитики, но с точки зрения пользовательского ввода — мы это проходили в GearVR. Ввод через направления взгляда медленный. Про связку с ЭЭГ, где можно определить нажатие быстрее, чем просто фокус на одной точке — не могу ничего сказать, так как не пробовал.
Ограничивать прямоугольником — это текущая условность технологии. Хочется чтобы этого не было, но с этим уже можно работать. Сейчас технологии не готовы на большее к сожалению. Но если протестировать как гипотезу, на меджик липе или хололенсе — с этим реально можно работать. Но в обоих устройствах для такой конкретной задачи слишком много лишнего, типа того же «киннекта» в хололенсе.
Жесты прекрасны при работе с диегетическими интерфейсами, и там нужны голограммы. Но с точки зрения повседневных задач текстового ввода и серфинга, это похоже на изобретение неудобного велосипеда, когда уже существует удобное решение. Инновация ради инновации.
На тему разрешения, даже если сейчас взять hololens или magic leap и поднять rdp — с этим можно работать.
Да не получается с этим работать, хоть тресни. Текущая реализация векторного текста заточена под плоскость, без геометрических искажений — которые появятся автоматически при небольшом наклоне головы. Значит разрешение матрицы должно быть в несколько раз выше хороших мониторов. А матрицы для очков даже до мониторов ещё не добрались по разрешению.
Трекинг глаз имеет огромный потенциал
Я не говорил про полноценную навигацию, типа глазами передвигать документы. Но простейшая логическая навигация должна присутствовать. Допустим в фокусе один конкретный документ из десятка открытых — значит всё связанное с ним должно появляться автоматически на периферии.
Жесты прекрасны при работе с диегетическими интерфейсами
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Дак у тебя телефон — это целая сенсорная панель. Вопрос как её разбить.
Да не получается с этим работать, хоть тресни. Текущая реализация векторного текста заточена под плоскость, без геометрических искажений — которые появятся автоматически при небольшом наклоне головы. Значит разрешение матрицы должно быть в несколько раз выше хороших мониторов. А матрицы для очков даже до мониторов ещё не добрались по разрешению.
Ну я не скажу, что не получается. Браузер и интерфейсы в хололенсе воспринимаются вполне нормально. Максимум я сидел за ним правда 4 часа подряд.
Просто не получается на примере чего? Я беру за основу конкретный пример качества картинки в хололенсе первом. И то, как там работается с браузером. И скажем так, не предел мечтаний — но работать можно, текст читаем. В хололенсе втором говорят, что это ещё улучшили, но до него я пока не добрался.
Когда документ имеет естественные ограничения по ширине — то достаточно ручной прокрутки колёсика мыши. А вот когда он ну очень широкий, и масштабируемый — то тут горизонтального скролла уже мало, хочется быстро подвинуть вооот в тот угол и немного увеличить. И желательно одним движением.
Вы пробовали это реально делать жестами? Хоть в хололенсе, хоть с лип моушеном прототип собирать? Там столько случаев неоднозначности, когда это банально неудобно. Может это конечно можно проработать. Но пока от этого нет тактильного отклика, иногда бывает тяжело сориентироваться в пространстве. При учёте того, что нормального оклюжена рук нет ни у кого в принципе. Может в холо втором появилось конечно.
Типа с точки зрения управления жестами можно не теоретизировать. Сколько там уже лет липмоушену? Прототипы спокойно собираются. Даже для трекинга глаз можно попробовать тоби (хотя не знаю насколько просто его найти сейчас, липмоушн то нетрудно)
Мы немного экспериментировали на тему жестов, плюс было много всяких приколов с хололенсом (когда пользователь через раз может сделать navigation gesture) Там всё не так тривиально по сравнению со стандартными методами ввода. На тему очень широкого интерфейса, речь в первую очередь про виртуальный дисплей. То есть если в AR даже несколько соседствующих дисплеев они предполагаются стандартными окнами с разрешением скажем 16х9 (аспект, который пытаются поддерживать большинство разработчиков на данный момент)
С точки зрения сверхшироких пространств или переключения рабочих столов. Хороший вопрос, можно подумать, но пока мне слабо верится что жесты это самое нативное без тактильного отклика. В липмоушене то за 1.5 года использования я нашёл всего одно реально удобное применение — переключение музыки. Зум через питч, скролл страницы жестами — это дико неудобно.
Если могут, зачем нужны новые очки, достаточно сделать софт?
Если не могут, имеется ли у вас техническое решение?
А то я тоже могу предложить «инновацию»: есть неудобство, что телефон надо заряжать. Вот сделать бы вечную батарейку… Как сделать? Не знаю, это тактический вопрос, моё дело предложить стратегию :)
Максимальное разрешение у хололенса если мне не изменяет память 720p. Я не до конца понимаю зачем для текста именно fullHD, но допустим.
Я не предлагаю инновацию. Я предлагаю сценарий использования. У очков помимо инженерных проблем, есть проблемы чисто UX. Это по сути как рассматривать, чем кпк отличались от айфона. В основном UX. Если взять оптику хололенс, выпилить всё лишнее, сделать вычислительным модулем телефон и решать одну задачу — виртуальный дисплей, это может сработать и быть полезным. Конечно хочется ультимативные очки, которые могут всё. Но мое предложение урезать функционал и перестроить UX на конкретную задачу, перенести часть функционала на смартфоны, а не сделать ультимейт устройство. Поэтому я не до конца понимаю сравнение с батарейкой :)
На тему технического решения — это скорее UX концепция сценария использования устройства. Наша компания занимается именно разработкой софта, и я больше понимаю именно UX, а не инженерное решение. В текущем сетапе UX неудобен, так как вся система не рассчитана на такой сценарий эксплуатации. И вот тут «если возможно». Если возможно было бы в меджик липе использовать в качестве вычислительного модуля не их «cd плеер», а именно мобильный телефон (пусть по проводу, пусть для этой урезанной задачи) Это было бы любопытно.
Урезанной в плане, что виртуальный дисплей не должен иметь SLAM. Достаточно IMU и возможности настройки скажем расстояния до монитора. С чем просто иннерциальный трекинг прекрасно справится
Телефон в качестве пульта — это произвольный пульт под конкретное приложение. То есть это должно поддерживаться на уровне платформы, чтобы разработчикам было удобно разрабатывать такие пульты под свои приложения. И это в сущности очки — виртуальный дисплей.
На тему самого компактного рабочего места. В домашних условиях я всё больше склоняюсь к VR решению, когда разрешение дорастёт, так как это вопрос фокуса внимания. В VR в разы проще сконцентрироваться на работе. Но в домашних условиях можно поставить 2-3 монитора и иметь очень удобное рабочее место. С точки же зрения походных условий, в VR стрёмно сидеть и работать в кафе скажем «как следить за вещами». При этом с точки зрения походных мониторов, я видел интересное решение от ASUS кажется. Где очень компактный монитор, который можно дополнительно закинуть в сумку.
Просто основная идея, которую я возможно недостаточно однозначно отразил в статье. Думая на тему того, что невозможно без AR очков, если брать не новые паттерны взаимодействия с информацией и т.п. А текущую ситуацию и классические задачи, невозможно дисплей ноутбука сделать компактным. Можно ноутбук уместить в более компактный форм фактор даже, типа взять mini PC, аля mac mini. И при этом это всё будет весить меньше, и занимать меньше места в сумке. Но с приходом 5G возможно стриминг заиграет новыми красками, и можно будет купить подписку на комп с парой 1080, ssd и 32 гб оперативы за вменяемые деньги, а очки с телефоном использовать именно, как дисплей и клавиатуру к этой красоте. Да, там есть вопросы, и возможно инженерные. Но на уровне MVP можно представить себе Magic Leap или Hololens (для тех, кто с ними работал) и представить такой сценарий использования. И условно задать себе вопрос: «интересно ли это было бы мне?» В этом основная цель статьи. А не предложить инновацию. Когда-нибудь космические корабли будут бороздить просторы галактики, а мы будем сидеть дома и работать в VR, чтобы не тратить время на дорогу и не терять коммуникацию. И так далее.
Проблема в том, что хорошо виден текст строго в середине поля зрения. Обычно голова неподвижна, а глаза перемещаются по строчкам. В VR же требуется держать взгляд строго вперёд, и чтобы прочитать что-то мелкое сбоку от направления взгляда, лучше повернуть голову, чтобы смотреть прямо на текст.
Из этого я делаю вывод, что технология не готова для работы с текстом в VR.
можно будет купить подписку на комп с парой 1080, ssd и 32 гб оперативыИ работать с этим в 720p с мыльной после видеокодека картинкой? Такое себе удовольствие.
Для игр много кто сейчас верит же в стриминг. Чтобы на условном макбуке играть в RDR 2. Правда в этом плане у меня больше вопросов к 5G. Так как Verizon в америке обещает латенси меньше 30мс до вышки. www.verizon.com/about/news/customers-chicago-and-minneapolis-are-first-world-get-5g-enabled-smartphones-connected-5g То есть если мы возьмём верхнюю грань в 30 мс до вышки, дальше вопрос, какая там будет магистраль и какое латенси. Если у нас чистый протокол аля RDP, то есть мы на клиенте рисуем чисто кадры и шлём команды на сервер. То с точки зрения всей этой истории мешать больше всего будет задержка до удалённого сервера. И вопрос, что пользователь сможет делать с мощностью телефона. Я читал правда, что кто-то обещает задержку в 1мс, и это уже выглядит интересно, но не помню кто.
Так как по своей сути решение — это виртуальный дисплей, а не полноценный AR. То задержки нужно брать десктопные. И тут основной разницей между игровым стримингом на дектоп, и стримингом в этот дисплей — будет хардварный энкодинг видео-потока. Так как если условно суммарно от отправки сигнала, до получения кадра проходить будет в районе 500мс — у тебя при печати текст будет обновляться через 0.5 секунды, что довольно сильно бесит. В том же хромовском RDP.
Работу с текстом по мне так лучше уж локально выполнять, накрайняк автокомплит вынести на сервер через LSP. Мощности мобильных процессоров сейчас вполне хватит и для офисных задач, и для нетяжёлой IDE, и для всяких кадов, бухгалтерий и прочего рабочего софта, рендерить не только лишь всем нужно.
Дак потому что они не рассчитаны на эту задачу. И проблемы описаны в статье и выше. Текущие очки заточены вообще под другую задачу. По этой причине они и неудобны, как монитор. И вот тут вопрос чисто UX. Ну и я не уверен, что каждый купил бы себе монитор за 3.5к долларов (кажется столько стоит хололенс) Такие мониторы осмысленны и может себе позволить только видео продакшен, но для этой задачи уже очки абсолютно бесполезны.
С точки зрения домашнего использования, как виртуальный телевизор — очки это устройство на одного человека, в отличии от телевизора. Поэтому тоже хороший вопрос на тему стационарного использования, так как дома вопрос приватности обычно не стоит. А вот в пути и в дороге это скорее плюс.
Я так и не добрался до этих очков. Может они в целом представляют из себя то, что и описано в статье. https://www.vuzix.com/Products/Blade-Smart-Glasses
Но я пока в это не верю, так как вряд ли там именно удобный UX. Но и цена 760€, и по описанию по сути делают именно это.
Такие мониторы осмысленны и может себе позволить только видео продакшен, но для этой задачи уже очки абсолютно бесполезны.Ну так да, но в статье вроде речь шла о том, как сделать хорошо и полезно, а не как хололенс)
Допустим есть такая идея. что с приходом трекинга лица будет можно работать из дома не теряя коммуникацию в VR (не совсем представляю пока как) Но концептуально это позволяет не тратить во-первых время людей на дорогу до работы, во-вторых, в целом разгружает транспортную инфраструктуру, что выливается в миллиарды долларов и вообще красоту со многих точек зрения. Для этого в VR решаются вполне понятные задачи с точки зрения коммуникации пользователей. AR же — это в таком контексте походный режим, так как в домашнем режиме в VR проще будет сконцентрироваться на работе. Понятно, что для этого не подходит шлем типа ГО из-за низкого разрешения, но суть даже не в этом. Даже когда технологии дорастут, это не изменится в один день, так как будет куча противников этого дела. Хоть будет огромная доказательная база от именитых университетов о том, что «это хорошо». Поэтому с точки зрения устройства здесь и сейчас идея концепта попробовать как-то скомбинировать существующие технологии с существующими сценариями использования устройств. То что это будет вау, супер, все захотят — хз. Пока я уверен в одном на 80%. Чтобы не выпустил эпл, первую версию по адекватной цене купят почти все, кто пользуется их техникой. Поэтому для них очень важно выпустить правильное устройство, которое пользователи захотят обновлять.
Превращается в плохой пульт и ещё более плохую клавиатуру.
Потому что модные сенсорные панели абсолютно непригодны к работе вслепую. И уж тем более к быстрой работе вслепую.
Я на своём потёртом thinkpad набираю текст со скоростью 220-270 знаков в минуту и вношу правки не отрываясь от экрана. Пропробуйте сделать это на модном прогрессивном айпаде.
Согласен. Но тут вопрос что важнее, скорость печати или компактность. С точки зрения скорости печати пока нет ничего лучше клавиатуры. Но я и не сравниваю с клавиатурой, как альтернативой. Я сравниваю именно с голосовым вводом, вводом через жесты, вводом через взгляд. Если рассматривать как замену ноуту, да надо сравнить с этим, и тут нужна блютус клавиатура скорее всего. Хотя надо попробовать полноэкранную клавиатуру телефона сделать и посмотреть скорость, так как на обычной телефонной я печатаю вслепую. Но вопрос какова скорость печати безусловно (и она конечно медленнее, чем на клавиатуре)
Использовать смартфон как джостик далеко не всегда удобно и уж тем более как замену клавиатуре полноценной, это просто кошмарно…
Грани и поверхности клавиш вам тоже эта перчатка сэмулирует? А ведь при слепом контроле мозг именно на форму органов управления реагирует.
Пробовали айрмаусом сделать что-то, отличное от тыканья в аршинные плитки интерфейса винды? Попробуйте.
А что такое ты еще делаешь маусом кроме тыканья в плитки? Рисуешь? для этого есть отдельные граф планшеты… выделять текст? я нормально могу выделить текст аир-маусом… если ты не обладашь достаточной моторикой или умением это твои проблемы…
П.С.
То есть впихнуть рдп в очки с дополненной реальностью для работы ты расматриваешь, а умные перчатки — это киберпанк — это фу… мне кажется у тебя странные представления о будущем…
даже клавиатура телефона будет удобнееПроблема в том, что вы выбираете из двух зол. В какой-то степени ввод с телефона может быть удобнее, чем виртуальная клавиатура, но совершенно точно это не так удобно, как обычная настольная клавиатура. А если взять чуть более широкий спектр задач (3D-моделирование, рисование, черчение и т.п.), то тут уже возможны варианты: спектр возможных виртуальных инструментов в 3D ограничен только фантазией разработчика. Скажем, сейчас в ArCore есть детектирование плоскостей, следовательно любая подходящая поверхность перед вами может стать полноразмерной клавиатурой. При должном уровне распознавания движения пальцев — не знаю, magic leap такое может сейчас, нет?
чем ввод текста в воздухе без какого либо тактильного откликаМожет в сторону тактильного отклика копать? ;) с трендом на миниатюризацию, это могут быть вовсе не монструозные перчатки, а что-то почти не заметное в повседневном ношении…
Ну или можно копать в сторону каких-то еще контроллеров ввода… у нас не так много вариантов на самом деле. С чем согласен — интеграция с телефоном в качестве одного из вариантов (как и с другими устройствами ввода — той же клавиатурой и мышью, например) видится вполне логичным.
Понятное дело хочется и разрешение 4к в каждый глаз, и чтобы ввод был с тактильным откликом (хотя с телефонами на эту проблему как-то забили, а текстов с них печатается уйма) Но в данный момент это невозможно, как показала практика компаний, в которые были влиты миллиарды долларов.
Если рассматривать это с точки зрения «когда-нибудь». Может распознавание текста дойдёт до комфортного уровня, это станет частью нашей жизни, и это решит ввод сообщений в соц. сетках. Так как по сути конечно печатать в разы приватнее, но раньше все говорили на улицах по телефону и никого это не смущало. Может все сервисы прийдут к именно пространственным интерфейсам, а обработка информации уже будет по большей части не текстовой, а в виде картинок, образов, компонент. В целом можно себе представить язык, который состоит из чисто визуальных образов. Но в данный момент времени каждый человек печатает просто тонны текста. Если не по работе, то в социальных сетях и т.п. Какая-то часть во всю использует голосовые сообщения, но даже с точки зрения работы на данный момент представление голосовых сообщений не является удобным. Так как когда вы что-то обсуждаете по работе, часто вам бывает нужна навигация по этим сообщениям. В данный момент времени (хотя в целом задача с какой-то точностью решаема) в мессенджерах такой возможности нет, и интерфейс на это не рассчитан.
Просто пока мы на подкасте по AR обсуждали вопрос «зачем сейчас нужны очки?». То есть условно за что вы бы могли отдать 1к$, если не фантазировать о космических кораблях, а взять текущие технологии и попробовать их концептуально переосмыслить? Я пока прихожу к мнению, что они должны упрощать решение повседневных задач. Какие задачи они могут упростить на текущем уровне технологий? По моему опыту работы с hololens и magic leap — виртуальный дисплей. Так как всё там нормально читается. Но я беру не совсем уж частные задачи для которых нужно кастомное решение, которое будет хоть как-то полезно только мне, как скажем вполне понятный кейс рабочего и логистики на скажем складе. А решение для чего-то общего, чем пользователи занимаются каждый день. Возможно это условно пятое колесо к телеге, чтобы это понять, на мой взгляд, в первую очередь надо собрать прототип и попробовать по пользоваться. Но во всех остальных случаях очки интересны для конкретных групп пользователей, так как они решают конкретно их проблемы. Если мы не берём «прикольно» и людей, кто может за «прикольно» отдать 3.5к долларов. Или даже 1к$.
Второй же проблемой «прикольно» является цикл обновления устройства. Если в технологию вложены миллиарды, то наверное компании хочется, чтобы после того как все купили Hololens 1, те же пользователи побежали за Hololens 2 при его выходе. Но если оно валяется на полке, после того как им неделю попользовались, я думаю немного народу побежит за второй, третьей, N-ой версией.
Потребность в концептуально новой железке для компаний типа Apple обусловлена чисто состоянием рынка. Так как мобильный рынок постепенно выходит на плато и прекращает расти www.statista.com/statistics/263437/global-smartphone-sales-to-end-users-since-2007 А компании хотят расти. И тут возникает вопрос, какое устройство было бы интересно пользователю здесь и сейчас. Может это AR, может это VR. Но есть задуматься, какие задачи очки чисто концептуально решают удобнее, чем смартфон — это навигация, и то для чего смартфон маленький. Все новые виды взаимодействия, какие-то интересные механики — пользователям надо будет им учиться. На телефонах скажем пришлось привыкать к сенсорной клавиатуре. И к этому не было бы вопросов. Если бы скажем ввод жестами, трекингом глаз, хенд трекингом был бы концептуально удобнее и лучше, чем простая синхронизация со смартфоном. Которая не так сложно делается.
Хотел попробовать сделать себе виртуальный голографический монитор — ну, такой, чтобы поставить рядом с настоящим монитором, еще один (или два, или пять). Потом подумал, а зачем монитор? Не лучше ли будет прямо как бы окошки вытаскивать из монитора и вешать вокруг себя в реальном мире, где захочешь? Сделал ранний и кривой прототип, но, в каком-то приближении, «с этим можно работать» (с). Технически моя реализация выглядела так: на компьютере запускался «сервер», который делал скриншоты нужных окон и слал картинки на HoloLens, а тот уже рисовал их в пространстве измененной реальности. К сожалению, сделать то же самое не криво в рамках существующих ограничений OS Windows оказалось невозможно (ну или я не нашёл способа) — можно быстро и хорошо делать снимок всего экрана, но не отдельного окна, которое, тем более, не активно, не в фокусе или вообще задвинуто за границы монитора (надо послать окну сообщение WM_PRINT, а как оно отреагирует — оно само будет решать, многие программы тупо ничего не возвращали). Тем не менее, можно было уже в такой реализации «вынести наружу», допустим, мессенджер, почту, хелп какой-нибудь, терминалов несколько штук. Вот кабы ещё этот девайс не был таким громоздким, да обзор вниз и в стороны не ограничивал, да FOV побольше, да дистанцию отрисовки позволял поближе, да если бы, да кабы…
А я бы хотел просто удобные носимые очки для вывода всякой вспомогательной информации: время, навигация, уведомления о сообщениях, возможно какие-то странички, чтобы подглядывать в них по необходимости. В принципе, даже не требуется выводить изображение по центру или перерисовывать её в зависимости от наклона головы. Что-то типа google glass с нормальным разрешением.
По этому пути пошла компания North. Как говорит их команда 'Мы бы хотели, чтобы люди перестали сутулиться, а смотрели прямо перед собой сквозь наши очки'. Другой вопрос, что очки не все любят носить и почему-то индустрия об этом забывает. Да, очки прибавляют 'интеллектуальности', но комфорт однодневных линз и очков — это как бизнес-класс в ОАЭ и чартер в Турцию.
Концепция очков дополненной реальности. Моя идеальная AR гарнитура, которая возможна