Свой собственный сервер для обучения — как машина в 20 веке: если вы всерьез занимаетесь Data Science, рано или поздно вы придете к тому, что нужна единая настроенная среда, уверенность в ресурсах, независимых от правил работодателя и админов. Кто-то скажет, что всё можно делать в облаках, однако постоянный доступ, долгие эксперименты 24/7, да еще и с хранением данных выйдут в копеечку.

Итак, если вы решились — нужно строить свой город-сад.

На форуме RAIF 2019, который состоялся в Сколково в рамках «Открытых Инноваций», я рассказывал о том, как происходит внедрение моделей машинного обучения. В связи с особенностями профессии я каждую неделю несколько дней провожу на производствах, занимаясь внедрением моделей машинного обучения, а остальное время – разработкой этих моделей. Этот пост — запись доклада, в котором я постарался обобщить свой опыт.

Собственно, суть новости в заголовке, а подробности описаны тут и тут.

А от себя хочу прокомментировать эту новость.

Думаю, многие мечтали избавиться от поиска миллиона справок и доказательств, что у тебя и правда есть (или нет) недвижимость, машина и работа. Цифровая трансформация должна сделать эту мечту реальностью, в которой подтверждение любого факта можно будет найти без написания официальных запросов и листков бумаги.

Кроме того, наличие большого объема данных открывает возможности использования механизмов статистики, машинного обучения для выявления тенденций в развитии общества, улучшения сервисов.

Мы в сотрудничестве с Агентством стратегических инициатив в рамках Национальной технологической инициативы создаем платформу талантов, собирающую информацию о достижениях школьников, для построения индивидуальных образовательных траекторий и рекомендаций вузам. Например, чтобы понимать, какое место и в каких олимпиадах действительно важно для успешного обучения. И уже на этом этапе увидели много возможностей для индивидуализации образования, например, создание системы по разным направлениям деятельности.

Сиамская нейросеть — один из простейших и наиболее популярных алгоритмов однократного обучения. Методики, при которой для каждого класса берётся лишь по одному учебному примеру. Таким образом, сиамская сеть обычно используется в приложениях, где в каждом классе есть не так много единиц данных.

Допустим, нам нужно сделать модель распознавания лиц для организации, в которой работает около 500 человек. Если делать такую модель с нуля на основе свёрточной нейросети (Convolutional Neural Network (CNN)), то для обучения модели и достижения хорошей точности распознавания нам понадобится много изображений каждого из этих 500 человек. Но очевидно, что такой датасет нам не собрать, поэтому не стоит делать модель на основе CNN или иного алгоритма глубокого обучения, если у нас нет достаточного количества данных. В подобных случаях можно воспользоваться сложным алгоритмом однократного обучения, наподобие сиамской сети, которая может обучаться на меньшем количестве данных.

Каждый автомобилист знает — водителям свойственно уставать. Бывает, что глаза слипаются, даже когда едешь с работы домой, а у дальнобойщиков это вообще одна из главных профессиональных проблем: каждый год происходят тысячи аварий из-за того, что люди засыпают за рулём. Всё дело в том, что водителям-дальнобойщикам нужно постоянно соблюдать баланс между отдыхом и безопасным вождением с одной стороны, и утомляемостью с более высоким заработком с другой. Велик соблазн поменьше поспать, но зато быстрее довезти груз и получить новый заказ. Не говоря о том, что у водителей есть своя личная жизнь и они не всегда отправляются в рейс выспавшимися.

Чтобы дороги стали безопаснее, мы запустили свой проект по контролю состояния водителей: по требованиям заказчиков создаём программно-аппаратные решения, которые могут отслеживать самочувствие водителя в дороге и предупреждать стадию засыпания, чтобы не «проснулся» на том свете.

Рано или поздно в жизни большинства команд наступает он — переезд. Вас приводят в чистое пустое помещение, которому предстоит стать местом, где вы будете проводить большую часть своей жизни. Если вы дизайнер, то первым делом придумаете, как развесить картины и поставить цветы, чтобы помещение заиграло новыми красками. Если вы опытный офисный самурай, то сразу наметанным глазом определите наилучшее место и первым заявите на него права. Если вы руководитель отдела, то вас наверняка посетит головная боль по поводу рассадки всех сотрудников. Но если вы при этом возглавляете команду датасайентистов, то монетка Python вам в помощь.