3D-дизайнер Ян Сприггс рассказал о деталях презентации гарнитуры дополненной реальности Apple Vision Pro. По его словам, как минимум в одной сцене живого человека заменила его цифровая модель.
Это было сделано для создания эффектного пролёта камеры прямо внутрь Apple Vision Pro.
Спрингс отметил: «У меня была возможность поработать с Apple над созданием этого цифрового человека для презентации Apple Vision Pro. Переход от живого видео к компьютерной графике происходит после того, как рука перекрывает лицо. Их команда отлично справилась. Получилось довольно круто».
Между тем бывший инженер Apple Стерлинг Криспин рассказал, что Apple привлекла нейробиологов для разработки некоторых ключевых функций гарнитуры. Основной интерфейс Vision Pro основан на навигации с использованием отслеживания взгляда и жестов, при этом системе необходимо как можно быстрее определить, на что конкретно смотрит пользователь.
Сам Криспин проработал исследователем прототипов нейротехнологий в группе технологий в Apple более трёх лет. Он работал над элементами, которые поддерживали фундаментальную разработку гарнитуры, включая «опыт осознанности» и другие «амбициозные исследования нейротехнологий». Криспин сравнил их с «чтением мыслей», которое заключалось в предсказаниях действий пользователя.
Работа Криспина заключалась в определении психического состояния пользователей на основе данных, собранных «из тела и мозга при нахождении в иммерсивном пространстве».
Используя отслеживание взгляда, электрическую активность, сердцебиение, мышечную активность, кровяное давление, проводимость кожи и другие показатели, модели ИИ могут попытаться предсказать мысли пользователя.
Одним из «самых крутых результатов» была возможность предсказать, какую кнопку нажмёт пользователь, отмечает инженер. «Ваш зрачок реагирует ещё до того, как вы нажмёте кнопку», — объясняет он. По словам Криспина, это позволяет создать биологическую обратную связь с мозгом пользователя, наблюдая за поведением его глаз и меняя интерфейс в режиме реального времени, чтобы «создать больше подобных упреждающих реакций».
Apple представила гарнитуру дополненной реальности Vision Pro на конференции WWDC 5 июня. Гаджет будет стоить $3499 и появится в продаже в 2024 году.
Журналисты-тестировщики описали Vision Pro как футуристичное устройство, которое похоже на дорогие и модные лыжные очки. Они также говорили, что именно обучение работе с интерфейсом VisionOS станет самым сложным аспектом для пользователей после покупки гарнитуры.
