Open Skoltech Car — машина, которая собрала для участников датасет из 600 000 изображений плюс данные с лидара
16 июля 2019 года определены победители и призёры международного хакатона Ice Vision с призовым фондом 3 млн руб. Перед участниками поставили задачу: за 48 часов разработать программное обеспечение, эффективно и точно распознающее объекты в зимних условиях по данным видеокамер и лидаров. «Зимние условия» предполагают осадки, встречный солнечный свет, туман, недостаточную освещённость и неочищенную проезжую часть (метель и снег).
Уверенное распознавание знаков в любых погодных условиях — необходимое требование для создания транспорта 5-го уровня беспилотности, т.е. способного перемещаться полностью без участия водителя в любых погодных условиях на любой дороге общественного пользования. На настоящий момент полностью эта задача не решена никем из производителей беспилотных транспортных средств в мире.
В конкурсе принимали участие команды от двух до пяти человек. В состав команды принимались любые разработчики в возрасте от 14 до 30 лет.
48-часовой хакатон был организован НИТУ «МИСиС» и РВК и прошёл на площадках «Дома-коммуны» НИТУ «МИСиС» и Сколковского института науки и технологий («Сколтех»). Вычислительные ресурсы, техническая поддержка и доступ к суперкомпьютеру «Жорес» предоставлены командой высокопроизводительных вычислений Центра науки, образования и инноваций Сколтеха по научным инженерным технологиям для задач с большими массивами данных.
Для соревнования участникам предоставили уникальный в своём роде датасет из 600 000 изображений со стерокамер (из них 20 000 размеченных: IceVisionSet annotation files), а также данные лидара, позволяющие создавать в реальном времени 3D-карту пространства, окружающего автомобиль. В частности, датасет включал данные следующих сенсоров:
- 3D-лидар (Velodyne HDL-64E S3);
- две цветные пятимегапиксельные камеры с глобальным затвором (DFK 33UX250);
- два дифференциальных ГНСС приёмника (Emlid Reach);
- один недифференциальный ГНСС приёмник (Garmin 18x LVC);
- блоки инерциальных измерений (InertiaCube3).
Впервые датасет подобного уровня опубликован под открытой лицензией CC BY 4.0, заявляют организаторы конкурса.
Участники не были ограничены в выборе языков программирования и библиотек, но им рекомендовали использовать библиотеки PyTorch, TensorFlow, Keras, а также Computer Vision Toolbox из MATLAB (для участия в конкурсе выдавали временную версию).
Перед допуском в очный этап хакатона команды проходили отдельный отбор с тестовым заданием. Финалистами стали 26 молодёжных команд из шести стран. На финал в Москву прибыли команды из Университета штата Аризона (США), Университета Висконсин-Стаут (США), Пекинского научно-технического университета (Китай), Харбинского политехнического университета (Китай), Каталонского политехнического университета (Испания), Университета Париж-Сакле (Франция), Университета Ульсан (Южная Корея).
Расчёт результатов осуществлялся путём сравнения результатов разметки участников и ручной разметки проверочной выборки датасета при помощи open-source алгоритма проверки. Основной упор делался на распознавание дорожных знаков согласно ПДД РФ в виде ограничивающих прямоугольников (см. конкурсное задание).
В итоге победителем стала команда молодых разработчиков российской компании NtechLab. В пятёрку также вошли студенческие команды из МГУ имени Ломоносова, НИУ ВШЭ, СибГУ, Сколтеха и НГУ. Призовой фонд распределился следующим образом:
- Команда Azat and Artem (NtechLab) — 1,5 млн руб.
- Сборная МГУ имени Ломоносова и НИУ ВШЭ PsinaDriveNow — 300 тыс. руб.
- Команда Vizorlabs из сотрудников Vizorlabs, выпускников СибГУ и МГУ им. Ломоносова — 200 тыс. руб.
- Все команды с 1 по 10 место — дополнительно по 100 тыс. от стратегического партнёра — научно-производственного объединения «СтарЛайн»
«В своей работе мы использовали свёрточные нейронные сети. Считаем, что это было верным решением. Кстати, потом, когда мы уже отошли от компьютеров, мы обсуждали наше решение с командой, занявшей второе место, и оказалось, что они действовали примерно по тому же принципу. Они даже показали нам несколько фишек, которые могли бы еще улучшить наш финальный результат», — поделились победители хакатона, Азат и Артём.
Команды, занявшие места с 11 по 15 (Харбинский политехнический университет, МФТИ, компания «Системы компьютерного зрения», Университет штата Аризона, ЮФУ) получили от компании Nvidia индивидуальные ваучеры на любой онлайн-курс Института глубокого обучения Nvidia (Nvidia DLI).
«Развитие беспилотного транспорта — одна из самых актуальных задач, стоящих перед разработчиками систем искусственного интеллекта во всём мире. Проведение хакатонов, направленных на поиск эффективных решений в области совершенствования компьютерного зрения для автономных транспортных средств, позволяет приблизиться к созданию беспилотных систем 5-го уровня. Я уверена, что разработки, предложенные молодыми инженерами-участниками Ice Vision, найдут практическое применение и будут востребованы нашими бизнес-партнёрами», — прокомментировала ректор НИТУ «МИСиС» Алевтина Черникова.
«В финале Ice Vision лучшие молодые программисты со всей России соревновались с командами ведущих зарубежных университетов, и в ходе этой борьбы подтвердили, что наша инженерная школа находится на уровне передовых мировых стандартов, а по ряду направлений и превосходит их. Конкурс — часть большого проекта по развитию технологий беспилотного вождения. Перед участниками были поставлены сложнейшие задачи, решение которых позволит открывать новые рынки и формировать глобальную повестку развития технологий», — отметил генеральный директор РВК Александр Повалко.
«Участники хакатона показали свой потенциал, способность привнести свой вклад в реальный сектор экономики — в автомобильную промышленность. Удивило участие иностранных ребят, которые тоже понимают необходимость научить беспилотные автомобили видеть в сложных зимних условиях. Мы посмотрели на различные подходы команд: некоторые участники применили интересные решения по объединению классических алгоритмов компьютерного зрения с нейросетевыми. В рамках хакатона ребятам удалось познакомиться с разработчиками беспилотных автомобилей, надеемся, что совместными усилиями у нас получится создать прогрессивные технологии беспилотного вождения, которые сделают будущее во всем мире безопасным и комфортным», — сказал президент НПО «СтарЛайн» Темур Аминджанов.
«Когда-то считалось, что создать искусственный глаз, способный различать объекты окружающего мира — вопрос для летней работы пары студентов. Пятьдесят с лишним лет потребовалось для того, чтобы создание системы компьютерного зрения стало действительно летней работой для нескольких десятков студентов. Однако, сейчас мы похоже вышли на уровень развития искусственного интеллекта который позволит нам весьма скоро создавать системы распознавания образов, работающие не хуже, чем человек. Такие хакатоны, как прошедший Ice Vision, позволяют выделять самые лучшие таланты, которые не боятся амбициозных задач», — отметил руководитель лаборатории робототехники Сбербанка, партнёра хакатона Ice Vision, Альберт Ефимов.
