Можно ли применить технологию Intel RealSense для… примерки обуви? «Почему бы и нет», — решили в компании Volumental, — «ведь нога — это такой же трехмерный объект, как и остальные и поэтому может быть 3D-сосканирован». И, представляете, применили, добившись при этом отличной точности — до 2 мм! Этот любопытный пример показывает, насколько широки возможности применения RealSense и сколько неиспробованных возможностей поджидают своего часа и своих исследователей.
Если вы хоть раз покупали детскую обувь, то знаете, что подобрать обувь нужного размера весьма непросто. Ребенок растет, и купленная обувь довольно быстро становится мала. Кроме того, не так просто и уговорить ребенка просто посидеть на месте, чтобы примерить несколько пар обуви. После этого еще нужно понять, насколько точно и правдиво ребенок ответил, впору ли ему новые кроссовки, особенно если на них изображен персонаж из любимого мультфильма.
А что, если бы удалось быстро и точно измерять ноги вашего ребенка перед примеркой обуви, чтобы выбирать уже среди пар в точности подходящего размера?
Volumental и технология Intel RealSense
Компания Volumental планирует реализовать такой подход с помощью технологии Intel RealSense. Трехмерное сканирование для точного определения размеров тела будет применяться не только для измерения ног и покупки обуви. Кэролайн Уэйлрад (Caroline Walerud), руководитель компании Volumental, говорит: «Мы считаем, что вся одежда и обувь должна изготавливаться по мерке, по точным размерам каждого человека». Специалисты Volumental считают, что трехмерное сканирование частей тела позволит шире использовать возможности индивидуальной подгонки различной продукции, причем не только обуви и одежды, но и медицинских устройств. А теперь, благодаря технологии Intel RealSense, эти возможности доступны для массового рынка.
Volumental — молодая компания, работающая в области трехмерного сканирования человеческого тела. Компания была образована на базе исследовательского проекта компьютерного зрения, организованного в Королевском технологическом институте Стокгольма. Когда корпорация Intel объявила о выпуске оборудования и программного обеспечения Intel RealSenseTM, специалисты Volumental сразу же обратили внимание на эту технологию и решили использовать ее в качестве основы для программ трехмерного моделирования и визуализации. Впрочем, для перехода от общего замысла к проработанному проекту потребовалось решить немало задач.
Корпорация Intel выпустила направленную на пользователя камеру Intel RealSense F200, которую встраивают в Ultrabook, трансформеры и моноблоки, а компания Volumental написала код для измерения и создания трехмерных моделей ног, сначала для детей (поскольку примерка детской обуви — более сложная задача), а затем для взрослых. Специалисты Volumental провели тестирование с пользователями, чтобы понять, как покупатели будут «естественным образом» пробовать измерить свои ноги с помощью планшета или ноутбука. Пользователи интуитивно стремились водить устройством вокруг своих ног для сканирования (рис. 1) вместо того, чтобы просто поставить устройство на пол.
Рисунок 1. Тестирование с пользователями
Рисунок 2. Режим «стремянки» и вертикальное положение с экраном, развернутым наружу
После просмотра обучающего видеоролика, в котором устройство находилось на полу, пользователи согласились, что так удобнее. Выяснилось, что удобнее всего было, когда ноутбук-трансформер был установлен в режиме «стремянки» или просто с вертикально поднятым экраном, развернутым наружу от клавиатуры (рис. 2). Важно, чтобы пользователи могли сканировать как босые ноги, так и ноги в носках, поскольку нужно было создать продукт, при работе с которым люди не ощущали бы неловкости, все должно было быть крайне просто и интуитивно. Добавление инструкций по правильной установке устройства для каждой из трех поз дало возможность получить хорошие результаты в домашней обстановке.
В розничных магазинах, где в обувных отделах нужно дать покупателям возможность самообслуживания, но при этом избежать кражи устройств, предложили использовать стационарные киоски для сканирования ног, как показано на рис. 3. Схемы на нижней площадке показывают покупателю, как и где стоять.
Рисунок 3. Киоск для подбора размера обуви
С помощью камер глубины и цветности Intel RealSense разработчики Volumental создали приложение, делающее трехмерные снимки босых ног или ног в носках. Приложение сканирует ноги с трех ракурсов, распознает ноги и их направление (рис. 4).
Рисунок 4. Три снимка
Рисунок 5. Результаты на экране
Трехмерная камера Intel RealSense предоставляет как цветное изображение, так и соответствующую информацию о глубине для каждого пикселя. Программное обеспечение Volumental анализирует данные этих снимков и предоставляет данные длины, ширины и обхвата подъема стопы, создавая полезную трехмерную модель ног пользователя. Полученная модель содержит тысячи замеров, ее можно использовать и для рекомендации нужного размера готовой обуви, и чтобы заказывать обувь по индивидуальной мерке.
На рис. 5 показан пример трехмерной модели ног покупателя. Обувные магазины могут предоставлять каждому покупателю каталоги обуви только подходящего размера.
Как это работает
С помощью предварительной бета-версии оборудования и Intel RealSense SDK 2014 компании Volumental, Intel и PLAE (компания-производитель детской обуви в Сан-Франциско) показали демонстрацию возможностей системы по измерению детских ног на форуме Intel Developer Forum в Сан-Франциско в 2014 году. В начале 2015 года Volumental и Intel показали свою последнюю разработку — свободно стоящий стационарный киоск с компьютером и камерой Intel RealSense F200 на уровне ног. Такие киоски планируется устанавливать в обувные отделы некоторых розничных магазинов в 2015 году.
Программа ShoeSizer сочетает технологии компьютерного зрения и машинного обучения для создания точных трехмерных моделей ног за считанные секунды. Система работает даже в случае, если ноги двигаются (не слишком сильно), поскольку применяются алгоритмы отслеживания трехмерной траектории и достигается точный результат.
Программные алгоритмы созданы на основе машинного обучения, для тренировки системы использованы крупные базы данных ног, чтобы добиться создания точных моделей даже при недостаточно четком изображении или при отсутствии данных. Алгоритмы и методики обработки являются интеллектуальной собственностью компании Volumental, но специалисты Intel помогли повысить производительность программы за счет многопоточной обработки с помощью OpenMP*. Готовые модели содержат гораздо больше информации о размере ноги, чем просто подходящий размер обуви.
Прочие задачи
В системах с сенсорным экраном требуется использовать руки, что неудобно, если система должна находиться на уровне ног. Тем не менее, разработчики оценили по достоинству и задействовали другие возможности технологии Intel RealSense, включая возможность использовать голосовые команды. Киоск принимает голосовые команды пользователя для запуска сканирования.
Также нужно было учесть, что существует огромное множество носков разного типа, разных цветов, с разным рисунком и фактурой ткани. Потребовалось весьма тщательное тестирование, чтобы определить, что лучше всего система работает с белыми носками из хлопковой ткани, но также можно надевать носки других цветов или с рисунком. Труднее всего распознаванию поддаются черные носки с плотной текстурой. Код программы Volumental пришлось доработать для поддержки более широкого диапазона изображений. Кроме того, важен даже цвет пола и его текстура, поскольку плоскость пола учитывается при измерениях. В этой связи одно из преимуществ стационарного киоска для измерений состоит в том, что покупатель ставит ногу не на пол, а на площадку киоска, цвет и фактура которой заранее известны разработчикам системы.
Не только обувь
Кэролайн Уэйлрад, руководитель компании Volumental, заявляет: «Это только начало для Volumental. Мы собираемся выпускать продукцию на основе этой модели и осваивать широкое коммерческое использование. Мы рады воспользоваться возможностью первыми выпустить такие решения на рынок. Мы считаем, что удобная запись данных о размере ног — первый шаг к совершенно новому подходу к производству обуви, которая будет более точно соответствовать индивидуальным размерам покупателей. В будущем принципы производства кардинально изменятся: индивидуальные пожелания покупателей будут учитываться в гораздо большей степени, чем сейчас».
Технология изначально разрабатывалась для розничных обувных магазинов, но она также обладает определенными преимуществами в таких областях, как протезирование и создание медицинских устройств. С помощью этой технологии передовые компании, производящие обувь, смогут предложить своим покупателям обувь, идеально подходящую по размеру. В настоящее время компания Volumental работает над несколькими проектами вместе с партнерами по протезированию и изготовлению обуви на заказ в дополнение к крупным розничным обувным магазинам. С новыми камерами корпорации Intel вы скоро увидите трехмерные сканеры для покупателей во всех магазинах.
