Студия Unreal выпустила приложение для iOS, которое считывает лицевую мимику пользователя и анимирует её на персонаже для Unreal Engine в режиме реального времени. Оно получило название Live Link Face; по словам разработчиков, приложение предназначено как для профессиональных съёмок методом motion capture, так и для любительских, например, для стриминга, сообщается на сайте Unreal.
Live Link Face уже доступно для скачивания в App Store. Приложение использует технологию дополненной реальности ARKit и систему камер TrueDepth в iPhone X и новее, включающую в себя фронтальную камеру, инфракрасную камеру, проектор точек и инфракрасный излучатель. Полученные с помощью них данные приложение передаёт на ПК, которые обрабатывает их и использует для построения анимации мимики лица.
Приложение передаёт данные с iPhone на ПК через многоадресную сеть, которая позволяет синхронизироваться одновременно с несколькими устройствами. Для этого оно использует технологию Tentecle Sync, которая позволяет синхронизировать устройства с одним устройством, которое ведёт учёт времени съёмки. Кроме того, в Live Link Face есть поддержка протокола OSC (Open Sound Control), с помощью которого пользователи смогут начать запись на нескольких iPhone одним касанием.
Разработчики обещают, что набор функций приложения весьма широк и позволяет использовать в различных сценариях. Так, например, оно поможет стримерам, которые предпочитают показывать свои цифровые аватары на трансляции, поскольку Live Link Face может выполнять естественную настройку и учитывать вращения головы без необходимости надевать специальное оборудование для motion capture.
Unreal не упоминает, разрабатывается ли аналогичное приложение для Android. Как пишет Engadget, это может быть связано с большим количеством различных настроек фронтальных камер, которые можно увидеть в смартфонах от разных компаний. Кроме того, пока неясно, будет ли работать приложение на iPhone без технологии TrueDepth.
Студия отметила, что продолжит делать Unreal Engine более доступным, назвав это одной из своих приоритетных целей. По словам разработчиков, выпуск Live Link Face — один из шагов к этому, позволяющий сделать технологию motion capture более простой для создателей контента.
См. также:
