В 2022 году наш Университет - московский ордена Ленина, ордена Октябрьской Революции авиационный институт имени Серго Орджоникидзе, ну или просто МАИ принял участие и победил в конкурсе Приоритет 2030. Мы, как самое передовое в Мире МАИ подразделение приобрели робота собаку Unitree A1 для опасных экспериментов развития науки и прокачивания навыков наших студентов IT-магистратур. Об опыте работы с данным чудом техники мы и решили поведать на Хабре.
XR Дайджест – аналитика, новости и последние события мира phygital
Всем привет!
Мы постоянно следим за миром phygital, актуальными событиями, новостями и аналитикой, и делимся им с вами в нашем ежемесячном дайджесте "DIGEST: Dive into phygital." В нем мы собираем всю информацию о последних исследованиях, разработках, новых гарнитурах и кейсах в сфере виртуальной и дополненной реальности.
Развитие BI-систем: тренды и движение в сторону ABI. Взгляд со стороны визуализации
Почему привычные нам BI-системы меняются? Куда движется их развитие, какие технологии сейчас внедряются, как можно улучшить аналитику для бизнеса? В этой статье мы коснемся этих вопросов и постараемся ответить, чего следует ожидать в ближайшем будущем от систем бизнес-аналитики.
Дополненная реальность для проектов: механики применения и эффект для бизнеса
Как не запутаться в большом объеме информации о дополненной реальности, где ее применять и как она работает?
Вопрос эффективности для бизнеса стоит остро, и в условиях пандемии новые инструменты как никогда актуальны. Поэтому мы выпустили White Paper “AR механики: все о дополненной реальности”, где доступным языком объяснили, как разные подходы в создании дополненной реальности решают боли компаний.
Онлайн-хакатон: кому и зачем это нужно?
Хакатон - командное состязание разработчиков, дизайнеров, менеджеров, аналитиков, которые в течение бессонного уик-энда должны подготовить хардверный проект либо приложение. В качестве исходных данных используется задача от заказчиков-спонсоров.
Если раньше хакатоны преимущественно проводились в офлайне, а онлайн-формат был чем-то непонятным и непопулярным, то сегодня хакатон «в интернете» уже не вызывает скепсис.
Есть ли плюсы в онлайне и для кого? Порассуждаем на тему, а также поделимся опытом, как в 2020 году мы провели самый масштабный онлайн-хакатон в авиаиндустрии.
2D-to-3D: конструируем сервис для экспериментов с реконструкциями формы
Привет, хабровчане! Сегодня мы хотим поделиться с вами нашим опытом по созданию сервиса для апробации моделей 3D реконструкции. В заметки мы:
• кратко обсудим что из себя представляет задача 2D-to-3D,
• взглянем на наиболее успешные алгоритмы и работы,
• сравним параметрический и непараметрический подходы к восстановлению формы лица и тела человека,
• разберем как устроен наш сервис для апробации моделей пространственной реконструкции.
Всех, кто хотел бы на манер “Чудес науки” переместить девушку с обложки глянцевого журнала к себе в комнату хотя бы в AR, просим под кат.
Осваиваем анализ лидарных данных и измеряем дорожные знаки
Всем привет! Сегодня мы хотели бы поделиться с вами нашим опытом анализа лидарных облаков. В заметке расскажем:
• какими инструментами и библиотеками можно пользоваться для анализа и обработки лидарных данных;
• рассмотрим практический пример анализа лидарных облаков, полученных с лидарного комплекса, установленного на автомобиле;
• попробуем применить стандартные библиотеки и техники для анализа и визуализации данных.
Компьютерное зрение в промышленной дефектоскопии: Часть 2 “Генерируем стремные трубы чтобы порадовать нейронку”
В предыдущей заметке мы рассказали о том, как мы решали задачу из области промышленной дефектоскопии методами современного машинного зрения. В частности, мы упомянули, что одним из подходов к обогащению данных обучающей выборки является генератор синтетических данных. В этой заметке мы расскажем:
- как сделали такой генератор на основе Blender и Python,
- какие типы масок для задач компьютерного зрения вообще можно получить в Blender.
Компьютерное зрение в промышленной дефектоскопии: Часть 1 “Как мы заставляли нейронку пялиться на ржавчину”
Сегодня мы хотим поделиться опытом решения задачи детекции дефектов на снимках промышленных объектов методами современного компьютерного зрения.
Наш рассказ будет состоять из нескольких частей:
- “Постановка задачи и Данные”, в которой мы будем смотреть на ржавые отопительные котлы и лопнувшие трубы, наслаждаться разметкой и аугментацией данных, а также будем вращать и шатать трубы чтобы сделать данные разнообразнее;
- “Выбор архитектуры”, в которой мы
сядем на два стулапопытаемся выбрать между скоростью и точностью; - “Фреймворки для обучения”, в которой мы будем погружаться в Darknet и заглянем в MMLab и покажем как сделать итоговое решение воспроизводимым и удобным для тестов.
Всем кому интересно взглянуть на пайплайн решения задачи из области машинного зрения и любителям ржавчины и трещин (не показывайте эту заметку сантехникам) просим под кат.
3D ML. Часть 6: Обзор алгоритмов семантической сегментации облака точек
Мы уже успели поговорить про сверточные операторы на графах, а теперь посмотрим на реальные архитектуры.
В этой заметке мы сравним между собой модели глубокого обучения, направленные на решение задачи семантической сегментации облака точек, и попытаемся выяснить, какие из существующих моделей наиболее пригодны для встраивания в реальную систему сканирования пространства.
3D ML. Часть 5: Свертки на графах
В предыдущих заметках данной серии мы уже успели поговорить о датасетах и инструментах, функциях потерь и примерах прикладных задач, а сейчас пора перейти к “ядру” любой подобласти глубокого обучения — к их архитектурам. Но, прежде чем разбираться с тем как устроены целые архитектуры, стоит разобраться в их составных частях, делающих их пригодными для применения к неевклидовым данным.
Наверное вы уже догадались, что речь сегодня пойдет о сверточных операторах на графах.
Оптимизация 3D-графики под WebGL (опыт PLANT-SIM)
В этой статье речь пойдет об оптимизации Unity-сцены проекта Plantsim 1.0.: о визуальной части цифровой копии предприятия Tennessee Eastman Process, реализованного на Unity 2017.1.1f1.
Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.
3D ML. Часть 4: дифференциальный рендеринг
В нескольких предыдущих заметках данной серии мы уже упоминали понятие дифференциального рендеринга. Сегодня пришло время разъяснить что это такое и с чем это едят.
Мы поговорим о том, почему традиционный пайплайн рендеринга не дифференцируем, зачем исследователям в области 3D ML потребовалось сделать его дифференцируемым и как это связано с нейронным рендерингом. Какие существуют подходы к конструированию таких систем, и рассмотрим конкретный пример — SoftRasterizer и его реализацию в PyTorch 3D. В конце, с помощью этой технологии, восстановим все пространственные характеристики “Моны Лизы” Леонардо Да Винчи так, если бы картина была не написана рукой мастера, а отрендерена с помощью компьютерной графики.
Tangible user interface: распознавание объектов при работе с multi-touch системой
Делимся опытом работы с Tangible User Interface и рассказываем, как распознавать маркеры по точечным паттернам. Вы узнаете, как с помощью дисплея и инфракрасной рамки сделать эффектную визуализацию, а также какие подводные камни могут встретиться при работе с TUIO.
Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.
Unity UIElements: первые впечатления в продакшн
Сегодня мы поделимся впечатлениями от работы с нашумевшим фреймворком от Unity — UIToolkit, известным также как UIElements. Мы рассмотрим его основные особенности без глубокого погружения в код. Стоит уточнить, что у команды ранее не было опыта работы с веб-версткой и очевидные для профессионалов этой сферы вещи, для нас могут быть не очевидны.
Заметка от партнера IT-центра МАИ и организатора магистерской программы “VR/AR & AI” — компании PHYGITALISM.
3D ML. Часть 3: датасеты и фреймворки в 3D ML
Работая в конкретной предметной области в рамках машинного обучения (в нашем случае это 3D) необходимо понимать какие существуют основные датасеты на основе которых обучаются и тестируются модели, а также какие существуют библиотеки и программы для комфортной работы с учетом специфики данных.
В этой заметке мы рассмотрим какие существуют основные датасеты в области 3D ML и какие фреймворки для работы с 3D данными могут пригодиться датасаентисту при разработке моделей машинного обучения в данной области.
3D ML. Часть 2: функции потерь в задачах 3D ML
Основной сложностью при выборе функций ошибок для работы с 3D данными является неевклидовость рассматриваемых структур, из-за которой задача определения расстояния в пространстве 3D моделей становится совсем нетривиальной.
В этой заметке мы поговорим о том, какие функции ошибки (Loss functions) алгоритмов используются в 3D ML, какие из них можно использовать в качеств метрик качества (metrics), а какие — в качестве регуляризаторов (regularizers).
3D ML. Часть 1: формы представления 3D-данных
Сегодня появляется все больше 3D датасетов и задач, связанных с 3D данными. Это связано с развитием робототехники и машинного зрения, технологий виртуальной и дополненной реальности, технологий медицинского и промышленного сканирования. Алгоритмы машинного обучения помогают решать сложные задачи, в которых необходимо классифицировать трехмерные объекты, восстанавливать недостающую информацию о таких объектах, или же порождать новые. Несмотря на достигнутые успехи, в области 3D ML остаются еще нерешенными ряд задач, и эта серия заметок призвана популяризировать направление среди русскоязычного сообщества.
В первой части будут рассмотрены основные формы и форматы представления пространственных данных и их особенности.
Как искусственный интеллект может улучшить киберфизические системы?
Что такое киберфизические системы, почему они так актуальны сегодня, и какую роль в их развитии играет искусственный интеллект?
Изучение различных свойств информационно-технических систем с точки зрения взаимодействия их физической и цифровой составляющих — новое и актуальное направление современной науки о киберфизических системах [1].
Главными составными частями любой киберфизической системы являются (Рис.1):
- физический слой системы (различные объекты реального физического мира самой разнообразной природы);
- цифровой слой системы (множество данных о системе, хранимых в памяти компьютеров, алгоритмы управления физическими объектами, алгоритмы обработки информации и пр.);
- интерфейс взаимодействия цифрового и физического слоя (различные сенсоры, управляющие механизмы и пр.);
- интерфейс взаимодействия цифрового и физического слоя с человеком (различные XR технологии).
Зачем идти в IT-магистратуру
«А нам и без магистратуры неплохо…»
- Билл Гейтс не имеет высшего образования – только два года обучения в бакалавриате Гарвардского университета…
- Стив Джобс проучился всего 1 семестр в колледже…
- Павел Дуров имеет диплом специалиста-филолога, а основатели Яндекса – Аркадий Волож и Илья Сегалович учились на геологов…
Этот список можно было бы продолжить и убедиться, что и без специальной магистратуры в области информационных технологий можно очень неплохо преуспеть в области IT.
Но это не совсем верно. Попробуем это доказать.