Привет, меня зовут Денис Колупаев, я возглавляю команду AR/VR-разработчиков в компании «Северсталь». В нашей компании технологии виртуальной и дополненной реальности начали внедрять по инициативе экспертов управления по развитию новых технологий нашего центра R&D в IT. Было непросто объяснить начальству, зачем это здесь, на металлургическом производстве, нужно… Сначала наши эксперименты с геймерскими девайсами и игровыми движками воспринимали с определённым скептицизмом, но после первых пилотов сомнения в «профпригодности» AR/VR развеялись. Хочу поделиться опытом внедрения этих технологий, рассказать о наших кейсах и сделанных выводах. Если вам интересно, зачем сотрудникам Северстали AR-очки и VR-тренажёры, добро пожаловать под кат.
Как всё начиналось
Промышленность не первый год осваивает AR/VR. В качестве примера можно вспомнить производственный центр компании Ford, где VR-технологии уже давно помогают обучать сотрудников, выявлять потенциально опасные операции и оптимизировать рабочие процессы ещё до запуска новых конвейеров. Россия не отстаёт: по данным прошлогоднего исследования, охватившего 100 крупнейших отечественных предприятий, AR/VR-технологии использует 21 % компаний. 40 % из них — в IT-секторе, 33 % — в металлургии, по 25 % — в телекоммуникационной и нефтегазовой сферах.
Это неудивительно: технология достаточно зрелая. Но если первые виртуальные шлемы, очки, контроллеры и ПО к ним разрабатывались в основном для игровой индустрии, то сейчас создатели VR-решений всё чаще ориентируются на корпоративный сегмент.
Поначалу я был единственным сотрудником «Северсталь-инфокома», занимавшимся AR/VR. Постепенно команда разрасталась, и в апреле 2019-го нас отделили от R&D, сформировав отдельное направление. Сейчас в команде более 10 человек: разработчики, 3D-дизайнеры и другие специалисты по AR/VR.
Первый пилот стартовал в январе 2018 года, это были интерактивные инструкции по разборке и дефектовке насосного оборудования. Идея основывалась на использовании дополненной реальности и не требовала применения каких-либо дополнительных девайсов, кроме смартфона: с помощью мобильного приложения сотрудник считывает QR-код на оборудовании, после чего у него на экране отображается 3D-модель соответствующего насоса. Её можно поэтапно разбирать и собирать, используя экран телефона как инструкцию по реальной сборке-разборке.
Позже мы пробовали реализовать аналогичный проект с использованием технологий VR, но отказались от этой идеи. К этому моменту мы уже начали заниматься VR-тренажёрами, на примере которых убедились: для обучения виртуальная реальность подходит гораздо лучше.
Понять процесс и создать «эффект погружения»
Один из первых VR-тренажёров создавался для Череповецкого металлургического комбината. Это был курс для подручного сталеплава: надевая виртуальный шлем или очки, обучающийся попадает в VR-цех, в котором можно брать пробы жидкого металла, проверять его температуру и прочие параметры.
После такого виртуального курса полезно закрепить полученные знания, проверить себя. Поэтому тренажёры сначала проходятся в режиме обучения, то есть с разъяснениями и подсказками, а затем в режиме тестирования — своего рода экзамен, в ходе которого обучающийся выполняет все действия без подсказок.
Кроме того, в виртуальном пространстве появляется отличная возможность имитировать какие-то нештатные происшествия: пожар, аварийную остановку оборудования. Один из наших тренажёров — на сегодняшний день их 13 — предназначен для шахтных рабочих, в нём обыгрываются ситуации с обвалами, задымлением. Мы можем посмотреть, как поведёт себя человек в случае ЧП, отработать технику безопасности, не подвергая его риску.
Один из самых важных этапов в создании виртуального тренажёра — понять, в чём заключается процесс, самим разобраться в нём. Для этого мы выходим на производство, снимаем на видео интересующие нас операции, фотографируем инструменты, чтобы их потом смоделировать.
Главное из преимуществ обучения на VR-тренажёре — погружение в процесс. Если мы слушаем лекцию или смотрим обучающие ролики, велик соблазн отвлечься — на телефон, какие-то параллельные занятия. Наши тренажёры такой возможности не дают: мы максимально сконцентрированы на материале, находясь в виртуальном пространстве. Поэтому обучение идёт быстрее, и вся необходимая информация запоминается гораздо лучше. Но для этого нужно всё делать правдоподобно, реалистично.
Если какая-то операция выполняется с помощником — создаём виртуальных персонажей, которые выглядят и двигаются естественно. Добавляем качественную графику и достоверную механику — и добиваемся максимального погружения. Мы убеждены, что механика тренажёра должна повторять некий жизненный опыт, чтобы можно было не просто нажать на инструмент и «применить» его, а, например, открутить что-то гаечным ключом и т. п. Некоторые считают такое внимание к деталям неоправданным, но у нас другая позиция: такой подход как минимум тренирует мышечную память у обучающегося.
Пандемия внесла коррективы: 3D-режим и AR-проекты
В этом году в связи с пандемией мы начали добавлять в наши тренажёры дополнительный режим — возможность пройти курс в 3D. Всё выглядит как обычная компьютерная игра: для обучения не требуется VR-шлем или другое специальное оборудование, только обычный компьютер с мышью, клавиатурой и монитором. Конечно, в этом случае теряется эффект погружения. Но для тех, кто может обучаться только дистанционно, такой вариант всё равно лучше чтения теории или просмотра видео. Тем более что можно сначала изучить курс дома на 3D-тренажёре, а затем перепройти «виртуальную» версию и закрепить материал в наших специальных VR-кабинетах для обучения.
Главная проблема при создании этих «домашних» версий — заставить 3D-тренажёр работать на обычных пользовательских устройствах вроде портативных ПК без дискретной видеокарты, на встроенной графике. Нам это удалось: недавно мы выпустили второй тренажёр, в котором есть и VR, и 3D.
Удалённый помощник — ещё один проект, связанный с карантинной ситуацией этого года. Сценарий такой: сотрудник в смарт-очках звонит со своего рабочего места на производстве эксперту, который может находиться где угодно, главное, чтобы у него был интернет. Изображение с очков транслируется в смартфон или компьютер эксперта. Тот, в свою очередь, может указать на проблемные места прямо на картинке — и сотрудник увидит указку в дополненной реальности очков. У сотрудника на производстве, помимо прочего, при таком решении остаются свободными руки. Мы попробовали несколько вариантов и пока остановились смартфонах и смарт-очках RealWear с Microsoft Teams: такое решение оптимально по стоимости и соответствует нашей политике безопасности.
Другой интересный проект, который находится в стадии разработки, — дополненная реальность для навигации на складе. Суть в том, что человек идёт по заранее просчитанному оптимальному маршруту, комплектует заказ, а затем подтверждает его в смартфоне или в очках. Пока получилось создать трёхмерную карту склада и приложение, которое просчитывает маршруты. А с трекингом проблема. Попробовали Spatial Mapping, облако точек — не подошло. Экспериментировали с Bluetooth-маячками — слишком большая погрешность, разброс метров до пяти. Продолжаем искать: изучаем опыт коллег, общаемся с ребятами из других компаний, которые занимаются подобными вещами.
Примерно 80 % из того, что мы внедряем, — это VR. Дополненную реальность в основном исследуем.
Из чего делается другая реальность: оборудование и ПО
Оборудование у нас, по сути, такое же, как и в игровой индустрии. Мы используем преимущественно шлемы HTC Vive Pro и HTC Cosmos, но недавно начали экспериментировать с мобильными шлемами Oculus Quest, которые уже не привязаны к ПК. Кроме того, нам понравилась новая система трекинга, которая не использует контроллеры: движения рук захватывают камеры, расположенные на шлеме. Такой подход имеет свои минусы, например нельзя ставить руку ребром к камере — в таком положении она не распознаётся. И, разумеется, руки нужно держать в поле обзора.
«Бесконтроллерная» технология идеально подходит для случаев вроде тренажёра машиниста коксовых машин, когда обучающийся постоянно сидит в кресле и держит руки перед собой на виртуальной панели управления. Пока для этой цели мы пользуемся контроллером Leap Motion, который захватывает движения рук и переносит их в виртуальную реальность. Пробовали несколько вариантов перчаток, но тут есть некоторые ограничения по масштабируемости: перчатки могут стоить не меньше, а то и больше иного шлема.
В качестве первого движка использовали Unity — в основном из-за более низкого порога вхождения. То же комьюнити Unity-разработчиков существенно больше, чем Unreal. Тем не менее через год всё-таки решили переходить на Unreal Engine 4. На наш взгляд, он более привлекательный в графическом плане, у него лучше картинка «из коробки», а многие инструменты, которые в Unity нужно докупать или писать самостоятельно, прилагаются по дефолту.
На Unity всё ещё работаем, делаем приложения для AR. Они получаются легче, к тому же необходимое там оборудование, такое как очки от Microsoft HoloLens, охотнее «дружит» с C# — языком Unity. А для приложений на Unreal Engine 4 можно вообще не пользоваться кодом: Blueprints — внутренний нодовый редактор, полностью графический, — позволяет сделать всё с помощью мышки. Но мы пользуемся им только для прототипирования, финальные проекты пишем на C++.
Процесс программирования, который затрагивает механику взаимодействия с виртуальным миром, поведение объектов во время взрывов и других нештатных ситуаций — это достаточно сложно. Но и трёхмерное моделирование — сложный процесс: сначала создаём геометрию, затем развёртки, текстурирование, анимацию и пр. Для моделирования мы используем 3ds Max, Blender, а также пакеты для текстурирования Substance Painter и Substance Designer, которые позволяют рисовать сразу по мешу. Для создания и персонализации персонажей-ботов, захвата движений, анимации — iClone и Character Creator 3.
Что дальше: платформа, мультиплеер и VR под заказ
В январе 2021 года мы планируем открыть доступ к платформе для дистрибуции и запуска тренажёров. Во-первых, это фронтенд на админ-панели, куда может зайти специалист по обучению — назначить курсы на определённых сотрудников, указать время прохождения, количество попыток и пр. Во-вторых, это бэкенд, который наши курсы обрабатывает в плане доставки: дистрибуция, обновление тренажёров, контроль запуска. В-третьих, все тренажёры будут собраны в одном месте.
Лаунчер наподобие игровых, как Steam, ставится на компьютер сотрудника. После входа под логином и паролем открываются доступные для прохождения курсы. Платформа позволяет сразу запустить и пройти 3D-версию, а для виртуальной версии нужно зарегистрироваться на свободное время для посещения VR-класса. Здесь можно будет найти справочную информацию, описание элементов управления, помощь по прохождению.
Увидеть результаты своего прохождения и оценить их помогает система аналитики, которая контролирует правильность действий обучающегося, фиксирует ошибки, время прохождения различных этапов и т. д. Эта информация выводится после прохождения. Специалист по обучению, в свою очередь, имеет доступ к данным всех, кто проходил обучение.
В планах на следующий год — реализовать мультиплеерный режим. Для чего он нужен? Например, в нашу компанию входит предприятие «Северсталь-Метиз», фабрики которого находятся в Волгограде и Череповце. На каждой из фабрик есть волочильный стан — оборудование для изготовления проволоки. Мы сделали такой VR-тренажёр, «Волочильщик проволоки», и было бы интересно, чтобы коллеги из разных локаций могли соревноваться между собой или совместно проходить обучение в режиме мультиплеера.
Мультиплеерный режим можно использовать, чтобы вместо бота в тренажёр заходил ещё один сотрудник, это поможет в отработке совместных операций. Ещё одна возможность, которую откроет мультиплеер, — создание админ-панели, с помощью которой специалист по обучению мог бы наблюдать за проходящими обучение и при необходимости вмешиваться в процесс.
Сейчас все наши тренажёры предназначены исключительно для внутреннего использования, они сделаны под конкретное оборудование, конкретную планировку цехов — это соответствует нашей концепции «эффекта погружения». С 2021 года мы попробуем выйти на внешний рынок с услугой «разработка VR-тренажёров для производственных целей».
Как стать AR/VR-разработчиком и каковы перспективы этой технологии
Все члены нашей команды — молодые ребята, обучавшиеся с нуля, со стажёрских позиций. Во-первых, так уж повелось в нашей команде: кадры мы привыкли растить сами. Во-вторых, «готовых» AR/VR-специалистов найти сегодня достаточно сложно или дорого: разработка под игровые движки — узкая специализация. В процессе «ковки кадров» мы смотрим, кому какое направление ближе: 3D-моделирование, программирование базовых сервисов или работа с движками. И предлагаем углубиться в ту область, которая больше нравится.
Проблема в том, что наши вузы практически не выпускают VR-программистов или геймдевов. Зато есть огромное количество различных обучающих платформ, таких как Skillbox или «Яндекс», которые помогут на базовом уровне освоить Unity, Unreal Engine или 3D-моделирование. Можно пойти на любой из этих курсов или обучаться самостоятельно. Тот же YouTube поможет освоить какие-то базовые вещи.
Как я уже говорил, у Unity немного ниже порог вхождения: комьюнити большое, информации много. Но зато специалистов по Unreal Engine сложнее найти, поэтому они больше ценятся.
«Стационарное» оборудование всё ещё достаточно дорогое, громоздкое и требует мощного компьютера, а мобильные VR-устройства пока проигрывают в качестве картинки. При этом перспективы AR/VR-технологий сомнений не вызывают: рынок будет расти по мере решения указанных проблем. Когда устройства типа смарт-очков начнут повсеместно использоваться вместо смартфонов, вокруг нас станет гораздо больше виртуальной и дополненной реальности.
Мы к этому уже готовы, за последние пару лет AR/VR-технологии вошли в жизнь нашей компании довольно плотно. В виртуальной реальности сотрудники не только обучаются, но и соревнуются: кто быстрее выполнит задание, выйдет из шахты и т. д. А цеха нашего предприятия круглосуточно открыты для виртуальных экскурсий: любой желающий может совершить тур по Череповецкому металлургическому комбинату, начиная с центральной проходной.
На этом пока всё. Буду рад ответить на ваши вопросы в комментариях. Спасибо за внимание!
