Pull to refresh
  • by relevance
  • by date
  • by rating

Британские спутниковые снимки 2: как все было на самом деле

Open Data Science corporate blogPythonAlgorithmsImage processingMachine learning
image

Сразу оговорюсь, что данный пост не несет большой технической нагрузки и должен восприниматься исключительно в режиме «пятничной истории». Кроме того, текст насыщен английскими словами, какие-то из них я не знаю как перевести, а какие-то переводить просто не хочется.

Краткое содержание первой части:

1. DSTL (научно-техническая лаборатория при министерстве обороны Великобритании) провела открытое соревнование на Kaggle.
2. Соревнование закончилось 7 марта, результаты объявлены 14 марта.
3. Пять из десяти лучших команд — русскоговорящие, причем все они являются членами сообщества Open Data Science.
4. Призовой фонд в $100,000 разделили брутальный малазиец Kyle, команда Романа Соловьева и Артура Кузина, а также я и Сергей Мушинский.
5. По итогам были написаны блог-посты (мой пост на хабре, пост Артура на хабре, наш с Серегой пост на Kaggle), проведены выступления на митапах (мое выступление в Adroll, мое выстпление в H20.ai, выступление Артура в Yandex, выступление Евгения Некрасова в Mail.Ru Group), написан tech report на arxiv.

Организаторам понравилось качество предложенных решений, но не понравилось, сколько они отстегнули за это соревнование. В Каggle ушло $500k, в то время как призовые всего $100k.
Читать дальше →
Total votes 110: ↑109 and ↓1 +108
Views33.1K
Comments 28

Делаем сервис по распознаванию изображений с помощью TensorFlow Serving

Open Data Science corporate blogPythonMachine learning
Tutorial

image

Всегда наступает то самое время, когда обученную модель нужно выпускать в production. Для этого часто приходится писать велосипеды в виде оберток библиотек машинного обучения. Но если Ваша модель реализована на Tensorflow, то у меня для Вас хорошая новость — велосипед писать не придется, т.к. можно использовать Tensorflow Serving.


В данной статье мы рассмотрим как использовать Tensorflow Serving для быстрого создания производительного сервиса по распознаванию изображений.

Читать дальше →
Total votes 38: ↑38 and ↓0 +38
Views29.5K
Comments 3

Лекция Владимира Игловикова на тренировке Яндекса по машинному обучению

Яндекс corporate blogAbnormal programmingSport programmingMachine learning
Скорее всего, вы слышали об авторе этой лекции. Владимир ternaus Игловиков занял второе место в британском Data Science Challenge, но организаторы конкурса не стали выплачивать ему денежный приз из-за его российского гражданства. Затем наши коллеги из Mail.Ru Group взяли выплату приза на себя, а Владимир, в свою очередь, попросил перечислить деньги в Российский Научный Фонд. История получила широкий охват в СМИ.

Спустя несколько недель Владимир выступил на одной из тренировок Яндекса по машинному обучению. Он рассказал о своём подходе к участию в конкурсах, о сути Data Science Challenge и о решении, которое позволило ему занять второе место.


Читать дальше →
Total votes 51: ↑46 and ↓5 +41
Views12.4K
Comments 6

Kaggle: анализ местности Амазонки по спутниковым снимкам

PythonData MiningAlgorithmsMachine learning
Sandbox
image

Недавно на kaggle.com проходило соревнование Planet understanding the amazon from space
До этого распознаванием изображений не занимался, поэтому подумал, что это отличный шанс научиться работать с картинками. Тем более, что по заверениям людей в чатике, порог вхождения был очень низкий, кто-то даже прозвал датасет «MNIST на стероидах».
Читать дальше →
Total votes 25: ↑25 and ↓0 +25
Views11K
Comments 3

Как сделать проект по распознаванию рукописных цифр с дообучением онлайн. Гайд для не совсем начинающих

Open Data Science corporate blogPythonData MiningImage processingMachine learning
Tutorial
Привет, Хабр! В последнее время машинное обучение и data science в целом приобретают все большую популярность. Постоянно появляются новые библиотеки и для тренировки моделей машинного обучения может потребоваться совсем немного кода. В такой ситуации можно забыть, что машинное обучение — не самоцель, а инструмент для решения какой-либо задачи. Мало сделать работающую модель, не менее важно качественно презентовать результаты анализа или сделать работающий продукт.

Я хотел бы рассказать о том, как создал проект по распознаванию рукописного ввода цифр с моделями, которые дообучаются на нарисованных пользователями цифрах. Используется две модели: простая нейронная сеть (FNN) на чистом numpy и сверточная сеть (CNN) на Tensorflow. Вы сможете узнать, как сделать практически с нуля следующее:

  • создать простой сайт с использованием Flask и Bootstrap;
  • разместить его на платформе Heroku;
  • реализовать сохранение и загрузку данных с помощью облака Amazon s3;
  • собрать собственный датасет;
  • натренировать модели машинного обучения (FNN и CNN);
  • сделать возможность дообучения этих моделей;
  • сделать сайт, который сможет распознавать нарисованные изображения;

Для полного понимания проекта желательно знать как работает deep learning для распознавания изображений, иметь базовые знания о Flask и немного разбираться в HTML, JS и CSS.
Читать дальше →
Total votes 27: ↑26 and ↓1 +25
Views25.7K
Comments 9

Рубрика «Читаем статьи за вас». Август 2017

Open Data Science corporate blogAlgorithmsImage processingMathematicsMachine learning

image


Привет, Хабр! С этого выпуска мы начинаем хорошую традицию: каждый месяц будет выходить набор рецензий на некоторые научные статьи от членов сообщества Open Data Science из канала #article_essence. Хотите получать их раньше всех — вступайте в сообщество ODS!
Статьи выбираются либо из личного интереса, либо из-за близости к проходящим сейчас соревнованиям. Если вы хотите предложить свою статью или у вас есть какие-то пожелания — просто напишите в комментариях и мы постараемся всё учесть в дальнейшем.

Читать дальше →
Total votes 46: ↑44 and ↓2 +42
Views13.9K
Comments 3

Kaggle: как наши сеточки считали морских львов на Алеутских островах

Open Data Science corporate blogPythonAlgorithmsImage processingMachine learning

header_im


Привет, Коллеги!


27 июня закончилось соревнование на Kaggle по подсчёту морских львов (сивучей) на аэрофотоснимках NOAA Fisheries Steller Sea Lions Population Count. В нем состязались 385 команд. Хочу поделиться с вами историей нашего участия в челлендже и (почти) победой в нём.

Читать дальше →
Total votes 61: ↑61 and ↓0 +61
Views23.6K
Comments 17

Рубрика «Читаем статьи за вас». Сентябрь 2017

Open Data Science corporate blogAlgorithmsImage processingMathematicsMachine learning


Привет, Хабр! Мы продолжаем нашу традицию и снова выпускаем ежемесячный набор рецензий на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество ODS!


Статьи выбираются либо из личного интереса, либо из-за близости к проходящим сейчас соревнованиям. Напоминаем, что описания статей даются без изменений и именно в том виде, в котором авторы запостили их в канал #article_essence. Если вы хотите предложить свою статью или у вас есть какие-то пожелания — просто напишите в комментариях и мы постараемся всё учесть в дальнейшем.

Читать дальше →
Total votes 71: ↑66 and ↓5 +61
Views18.8K
Comments 14

Создатель Open Data Science о Slack, xgboost и GPU

JUG Ru Group corporate blogBig DataOpen dataMachine learning
Сообщество Open Data Science (ODS) уже известно на Хабре по открытому курсу машинного обучения (OpenML). Сегодня мы поговорим с его создателем об истории ODS, людях и наиболее популярных методах машинного обучения (по версии Кaggle и проектам индустрии). За интересными фактами и технической экспертизой — прошу под кат.



Читать дальше →
Total votes 53: ↑49 and ↓4 +45
Views19.9K
Comments 5

Рубрика «Читаем статьи за вас». Октябрь — Ноябрь 2017

Open Data Science corporate blogAlgorithmsImage processingMathematicsMachine learning


Привет, Хабр! По традиции, представляем вашему вниманию дюжину рецензий на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество ODS!


Статьи выбираются либо из личного интереса, либо из-за близости к проходящим сейчас соревнованиям. Напоминаем, что описания статей даются без изменений и именно в том виде, в котором авторы запостили их в канал #article_essence. Если вы хотите предложить свою статью или у вас есть какие-то пожелания — просто напишите в комментариях и мы постараемся всё учесть в дальнейшем.


Статьи на сегодня:

Читать дальше →
Total votes 65: ↑63 and ↓2 +61
Views15.6K
Comments 4

Парсим мемы в питоне: как обойти серверную блокировку

Open Data Science corporate blogPythonProgrammingData MiningOpen data
Tutorial

Новогодние праздники — прекрасный повод попрокрастинировать в уютной домашней обстановке и вспомнить дорогие сердцу мемы из 2k17, уходящие навсегда, как совесть Electronic Arts.



Однако даже обильно сдобренная салатами совесть иногда просыпалась и требовала хоть немного взять себя в руки и заняться полезной деятельностью. Поэтому мы совместили приятное с полезным и на примере любимых мемов посмотрели, как можно спарсить себе небольшую базу
данных, попутно обходя всевозможные блокировки, ловушки и ограничения, расставленные сервером на нашем пути. Всех заинтересованных любезно приглашаем под кат.

Читать дальше →
Total votes 76: ↑70 and ↓6 +64
Views67.1K
Comments 42

Главные достижения в области обработки естественного языка в 2017 году

Московский физико-технический институт (МФТИ) corporate blogOpen Data Science corporate blogData MiningMathematicsMachine learning
Translation

Всем привет. Сразу поделим аудиторию на две части — тех, кто любит смотреть видео, и тех, кто, как я, лучше воспринимает тексты. Чтобы не томить первых, запись моего выступления на Дата-Ёлке:



Там есть все основные моменты, но формат выступления не предполагает подробного рассмотрения статей. Любители ссылок и подробных разборов, добро пожаловать под кат.

Читать дальше →
Total votes 61: ↑61 and ↓0 +61
Views18.1K
Comments 3

Совмещение R и Python: зачем, когда и как?

Open Data Science corporate blogPythonData MiningBig DataR
dva stula

Наверное, многие из тех, кто занимается анализом данных, когда-нибудь думали о том, возможно ли использовать в работе одновременно R и Python. И если да, то зачем это может быть нужно? В каких случаях будет полезным и эффективным для проектов? Да и как вообще выбрать лучший способ совмещения языков, если гугл выдает примерно 100500 вариантов?

Давайте попробуем разобраться в этих вопросах.
Читать дальше →
Total votes 43: ↑41 and ↓2 +39
Views24.5K
Comments 11

Приглашаем на хакатон Whatever Hack 16 марта

Mail.ru Group corporate blog


В нашем московском офисе 16 марта начнется 48-часовой марафон по машинному обучению, в ходе которого вы сможете продемонстрировать свои скиллы, чтобы создать решение для генерации мемов, отличить шкаф от ковра или сделать лучший MVP (minimum viable product) в рамках свободной темы.


Зовем всех желающих решить любую из трех задач и побороться за призовой фонд в 1,5 миллиона рублей (или не рублей).


Далее — о задачах и подробности.

Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Views2.4K
Comments 0

Рубрика «Читаем статьи за вас». Декабрь 2017 — Январь 2018

Open Data Science corporate blogAlgorithmsImage processingMathematicsMachine learning


Привет, Хабр! Продолжаем публиковать рецензии на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество!

Читать дальше →
Total votes 64: ↑64 and ↓0 +64
Views10.9K
Comments 2

Рубрика «Читаем статьи за вас». Февраль — Март 2018

Open Data Science corporate blogAlgorithmsImage processingMathematicsMachine learning


Привет, Хабр! Продолжаем публиковать рецензии на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество!

Читать дальше →
Total votes 43: ↑41 and ↓2 +39
Views13K
Comments 0

Детектирование частей тела с помощью глубоких нейронных сетей

Образовательные проекты JetBrains corporate blogOpen Data Science corporate blogImage processingMathematicsMachine learning
Привет, Хабр!

Сегодня я расскажу вам про один из методов решения задачи pose estimation. Задача состоит в детектировании частей тела на фотографиях, а метод называется DeepPose. Этот алгоритм был предложен ребятами из гугла еще в 2014 году. Казалось бы, не так давно, но не для области глубокого обучения. С тех пор появилось много новых и более продвинутых решений, но для полного понимания необходимо знакомство с истоками.


Читать дальше →
Total votes 55: ↑55 and ↓0 +55
Views19.7K
Comments 23

Swift для дата-сайентиста: быстрое погружение за 2 часа

PythonData MiningSwiftMachine learning


Google объявил, что TensorFlow переезжает на Swift. Так что отложите все свои дела, выбросьте Python и срочно учите Swift. А язык, надо сказать, местами довольно странный.


Читать дальше →
Total votes 27: ↑23 and ↓4 +19
Views12K
Comments 9

Курс о Deep Learning на пальцах

Image processingMachine learningRoboticsArtificial Intelligence
Я все еще не до конца понял, как так получилось, но в прошлом году я слово за слово подписался прочитать курс по Deep Learning и вот, на удивление, прочитал. Обещал — выкладываю!

Курс не претендует на полноту, скорее это способ поиграться руками с основными областями, где deep learning устоялся как практический инструмент, и получить достаточную базу, чтобы свободно читать и понимать современные статьи.

Материалы курса были опробованы на студентах кафедры АФТИ Новосибирского Государственного Университета, поэтому есть шанс, что по ним действительно можно чему-то научиться.


Читать дальше →
Total votes 117: ↑117 and ↓0 +117
Views157.8K
Comments 31

Moscow Data Science Major: анонс и регистрация

Mail.ru Group corporate blogAlgorithmsBig DataMachine learningArtificial Intelligence


1 сентября Mail.Ru Group и сообщество Open Data Science проведут крупнейший митап Moscow Data Science Major. Событие состоит из пяти тематических блоков докладов, одной ML-тренировки и целого зала для нетворкинга и знакомств.

Знакомьтесь с программой и регистрируйтесь! Вход на событие бесплатный, по одобренной регистрации.
Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views5.3K
Comments 9