Открыть список
Как стать автором
Обновить
EPAM
Компания для карьерного и профессионального роста

Physical Technology и розовый хакатон: история нашего проекта

Блог компании EPAMХакатоныПрототипирование

Всем привет! Меня зовут Александр Бобко, я работаю менеджером проектов в инновационной лаборатории EPAM – Made Real Lab. Это подразделение, которое занимается созданием быстрых прототипов и концептов для клиентов компании из самых разных отраслей. А еще команды лаборатории часто работают над разными социальными инициативами и проектами.

В своем первом посте на Habr я решил рассказать, как мы с коллегами приняли участие в виртуальном хакатоне "Hack for Pink" и поделиться решением, за которое взяли Гран-при. Речь о зеркале-домашнем помощнике при диагностике рака груди.

Но обо всем по порядку. С начала 90-х производитель косметики и парфюмерии Estée Lauder проводит кампании по борьбе с раком груди и финансирует исследования в области заболеваний молочной железы. А еще последние пару лет организовывает хакатоны, на которых предлагает всем желающим вместе искать способы победить онкологию и повышать осведомленность людей при помощи современных технологий.

Идея сделать что-то в рамках "Hack for Pink" сразу запала нам в душу по нескольким причинам. Во-первых, это классная возможность применить свои знания и опыт, чтобы принести реальную пользу конкретным людям. Поэтому мы и раньше участвовали во многих волонтерских и социальных активностях. Например, в начале пандемии коронавируса мои коллеги из Made Real Lab по своей инициативе разрабатывали и собирали прототип аппарата вентиляции легких, локтевые ручки, защитные маски и щитки для медиков и людей, чтобы передать технологии во всеобщее пользование.

Во-вторых, организаторы хакатона разрешали использовать любые языки программирования, библиотеки и фреймворки, открытый исходный код для проектов. Это полная свобода творчества, что не может не привлечь. Спойлер — по итогу нашему решению на момент разработки концепта не понадобилась ни одна строчка кода.

Команда

Основу составили ребята из Physical Technology — практики, которая занимается разработкой физических продуктов и устройств. Нетипичная для IT-компании гибридная команда в Минске появилась около полутора лет назад и объединила инженеров и консультантов в областях электроники, медицинских, космических и других технологий из 6 стран. А еще к нам присоединились коллеги из подразделения Innovation consulting,

С учетом экспертизы всех членов команды изначально планировалось сделать что-то осязаемое — физическое устройство или прибор. В прошлом году коллеги из Physical Technology практики получили ISO сертификат на разработку медицинских продуктов, поэтому мы приступили к работе над идеей, со старта понимая, как можно будет дальше перейти от прототипа к полноценному продукту, когда это потребуется.

Творческий процесс

Хакатон Estee Lauder длился 2 недели, над решением мы работали в свободное время. Как все проходило: сперва собрали команду энтузиастов, дальше я организовал совместный воркшоп, чтобы подумать о существующих проблемах, побрейшнтормить и прийти к нескольким “звонким” идеям на стыке инженерии и креатива. Обмен творческими флюидами проходил онлайн. Кто-то из участников не знал друг друга, таким составом мы раньше не креативили, а нужно было найти общий язык, настроиться на одну волну и обдумать важные моменты. В общем, челлендж непростой, но мы справились в течение нескольких часов. Такие сжатые сроки нам не в новинку: часто на схожие первичные сессии с клиентом у тебя бывает меньше 60 минут.

Прежде всего определили, на кого ориентируемся и какие проблемы есть у аудитории. У нас получились 4 группы потенциальных пользователей:

Потом в рамках хакатона для участников была организована сессия с докторами — командам рассказали о существующих технологиях для диагностики рака груди и отслеживания изменений по стадиям заболевания. После мы детализировали свои идеи, отобрали несколько, проработали их и выбрали ту, с которой будем дальше работать.

C-True mirror

Наша команда отталкивалась от распространенного среди целевой аудитории продукта страха посещения врача. Причины для бесконечного откладывания визита к специалисту могут быть разные: как дискомфорт во время процедуры, тревога по поводу возможного диагноза и боязнь неизвестного, так и классические предрассудки по отношению к посещению врача. Такой барьер во многих случаях мешает получить консультацию и помощь на ранних этапах развития заболевания, если оно есть. Мы решили, что было бы полезно иметь устройство, которое помогает обратить внимание на визуальные изменения в своем теле и учит самодиагностике, рассказывает о профилактике рака груди и регулярно напоминает о необходимости обследования. Все это без титанических усилий над собой и в комфортных условиях.

Развили мысль дальше и пришли к выводу, что в качестве основы для нашего решения идеально подойдет зеркало, потому что оно есть почти у каждого человека в спальне или ванной и с ним привычно взаимодействовать. Скомбинируем с алгоритмами компьютерного зрения и машинного обучения, которые помогут определить места для диагностики и аномалии, технологию mixed reality, чтобы проецировать на отражение человека графику и интерфейс, добавим тепловизионные модули, датчики, камеру и получим удобное домашнее устройство — C-True mirror.

Мы задумали решение с вариативным набором технологий в разных комбинациях, где каждый из элементов выполняет свою роль:

  • Зеркало — основа — может быть любой формы. Но с увеличением площади усложняется технологическая реализация. Потому что компьютерному зрению нужно будет распознавать, отличать и анализировать больше частей тела человека. В функциональном прототипе мы используем аналог умного зеркала со связкой “монитор-зеркало Гезелла” — таким образом, пользователь видит свое реальное отражение, а компьютерное зрение анализирует данные с камеры. Маркеры отображаются на мониторе и “просвечиваются” через настоящее зеркало.

  • Осветительная панель, закрепленная по периметру зеркала, снижает погрешность диагностики, так как с ним уходит зависимости картинки от естественного света, который постоянно меняется. То есть условия для сканирования буду всегда практически одинаковы.

  • LIDAR, который активно используется в геодезии и картографии для съемки объектов в высоком качестве и супердетализации. Такой модуль можно также встретить хоть в новом iPad, хоть в роботах-пылесосах. В нашем концепте технология поможет определить поверхностные изменения в текстуре кожи (например, появление углублений и припухлостей) и проанализировать их форму.

  • Инфракрасная камера будет измерять точечную температуру поверхностей тела (она может отличаться). Решение уже существует и, более того, есть публичный датасет для обучения модели по распознаванию таких симптомов заболевания.

  • Контроллер (например, Nvidia Jetson) запустит локальную обработку визуальных данных для машинного обучения. Например, если камера найдет определенные шелушения, покраснения кожи или какие-то другие отклонения, то устройство сможет обработать эту информацию, сравнить с предыдущими данными и сделать выводы. Тут важно проводить обработку данных локально для приватности данных.

Были дебаты о вариантах реализации идеи. Мы обсуждали, что, возможно, лучше было бы сделать мобильное приложение, которое проводило бы диагностику по фотографиям, либо какую-то “примочку” к смартфону, которая бы помогала проводить нужный осмотр. Но тут домашнее зеркало выигрывает, потому что оно реальное, стоит перед тобой, “общается”, предлагает и помогает с самообследованием. Пользователь видит себя в режиме реального времени, получает индивидуальные подсказки, взаимодействует с собой не по общей инструкции. А зеркало определит границы, параметры и показатели тела человека и потом сможет сравнивать их с предыдущими значениями.

В перспективе C-True Mirror мог бы распознавать каждого члена семьи (по аналогии с технологией распознавания лиц в смартфонах) и запоминать данные по отдельности. Да и при помощи такого зеркала можно было бы проводить онлайн-тренировки или использовать для телемедицины.

В результате все наши предположения подтвердились и получили хороший отклик от фокус-групп.

Воплощение идеи и презентация

Так как все члены команды уже работали с элементами и технологиями планируемого устройства, не было сомнений в том, возможно ли будет его разработать и собрать. Еще мы предварительно проконсультировались с коллегами из Data практики по поводу определения визуальных или температурных отклонений с помощью машинного обучения — в проекте не осталось чего-то непонятного или недоступного. В случае с машинным обучением многое зависит от наличия данных для обучения модели, но, в случае коллаборации с медицинскими институтами, этот вопрос также может быть решен.

Поэтому мы с уверенностью сосредоточились на демонстрации жизнеспособности идеи и взаимодействия пользователя с C-True Mirror в реальности. За 1,5 дня нашли нужные детали, камеру, датчики, обрезали зеркало и собрали прототип. Потом сняли видеоролик, в котором воссоздали интерфейс устройства и показали его использование. Элементы дополненной реальности и часть задуманного функционала рисовали фломастерами, проекцию на зеркало делали прямо с манекена.

А еще инженеры из нашей команды описали архитектуру решения и сконструировали 3D-модель, чтобы максимально точно показать судьям и коллегам, из чего будет состоит устройство, и иметь возможность обсудить все подробно. На основе модели мы составили полный список элементов, необходимых для сборки уже функционирующего прототипа.

Подготовке итоговой презентации тоже уделили большое внимание. Важно было донести суть нашего проекта и раскрыть потенциал прототипа. Мы тщательно проработали сценарий, спич и "перевели” инженерную идею на понятный язык. Вот, что получилось в итоге:

Перспективы и новые направления развития

Важно отметить, что C-True Mirror задумывался как умный домашний помощник, а не инструмент для полноценной медицинской диагностики. После хакатона мы много общались с онкологами и собирали от них обратную связь. Врачи подтвердили, что наше решение будет действительно полезным для пользователей в качестве инструмента популяризации регулярной самодиагностики. Да и компьютер может быстрее обратить внимание пользователя на неочевидные внешние изменения. А дальше уже идет территория медиков, потому что онкологию в принципе сложно диагностировать (тем более в домашних условиях): нужно проводить спектральный анализ, УЗИ, обследования, измерять температуру на глубине 3-4 сантиметров, использовать специальную технику и руками доктора делать пальпации.

На нынешнем этапе мы сфокусировались на определении визуальных отклонений и mixed reality компонентах, чтобы человек получал от зеркала обратную связь, проецированную на свое же тело. Сейчас команда из инженеров по механике и электронике, разработчиков интерфейса и data-scientist работает над функциональным прототипом. А после проведем тесты: для начала будем создавать искусственные визуальные изменения на теле и предлагать устройству их найти.

Мы планируем, что в будущем C-True Mirror можно будет использовать не только для диагностики груди, но и лица, определять проблемы и заболевания кожи, в том числе и онкологические.

Благодарю коллег Михаила Иргера, Марину Дайнеко, Романа Алиевича, Арама Манукяна, Яна Федорова, Максима Цвика, Ольгу Полещук и Артема Панасенко за идеи, классную работу и вклад в создание этого проекта!

Теги:physical technologiesхакатоныuser experienceтелемедицина
Хабы: Блог компании EPAM Хакатоны Прототипирование
Всего голосов 2: ↑1 и ↓1 0
Просмотры646

Похожие публикации

Лучшие публикации за сутки

Информация

Дата основания
1993
Местоположение
США
Сайт
www.epam.com
Численность
свыше 10 000 человек
Дата регистрации
Представитель
vesyolkinaolga

Блог на Хабре