Статистика в IT

Привет Хабр!

Многие постоянные читатели и авторы сайта наверное задумывались о том, какой жизненный цикл имеют опубликованные здесь статьи. И хотя интуитивно это и так более-менее ясно (очевидно например, что статья на первой странице имеет максимальное число просмотров), но сколько конкретно?



Для сбора статистики воспользуемся Python, Pandas, Matplotlib и Raspberry Pi.

Тех кому интересно, что из этого получилось, прошу под кат.

В начале этого года HackerRank опубликовала результаты масштабного исследования, в котором приняли участие 10 тысяч студентов — будущих разработчиков. Целью исследования было выяснить, насколько важно самообразование в ходе обучения, а также узнать, какие навыки студенты планируют развивать.

Итоги получились интересными, с результатами исследования можно познакомиться под катом. К слову, мы уже публиковали статью о важности самообучения для начинающего разработчика.

Привет Хабр! Сегодня я хотел бы поговорить про этичность, а именно про этичность в профессиональной сфере. Речь пойдет о сервисах фейковой активности и о тех заблуждениях, в которые они могут привести как обычного рядового пользователя, так и профессионала сферы разработки.



И так, начнем. Что я имею ввиду под фразой “фейковая активность” догадаться не сложно: это манипуляция и компрометирование тех данных, которые отвечают за показатель вашей активности, или проще, действий в интернете. С этим наверняка сталкивался каждый из вас, кто хоть раз пользовался соц-сетями: VK, Instagram и тд.

Опишу эту схему на примере Instagram: у каждого человека есть свой собственный аккаунт, а для разработчиков предоставляется API доступ. И до чего мы додумались? Запустить ботов которые через аккаунт человека будут проявлять разного рода активность (ставить лайки, подписываться, комментировать посты других людей, или даже самостоятельно вести страницу, на примере @neuralcat). И вскоре эту возможность начали активно использовать бизнес сферы. Привлечение новой аудитории путем таргетирования по определенным критериям и проводя активность на их странице. Все бы ничего, но вот со временем это вышло за все рамки. Каждый день десятки непонятных аккаунтов лайкают ваши фото, оставляют спам-комментарии отмечают вас на фото-розыгрышах и тд.

Бот активность вышла за все рамки благоразумия что на сегодняшний день Instagram закрывает свой API, и вот одна из причин: “Большинство сервисов, работающих с автопостингоми, накрутками лайков и «лайками типа OML» — делают это через приватное api — через «пароль\логин», а не через официальное API.”

На примере рынка США заметен упадок офлайн-ритейла. На это многие обратили внимание в свете недавних новостей о закрытии крупной розничной сети Macy’s со 160-летней историей и сообщений о потере компаниями-участниками розничного сектора 34 млрд долларов капитализации на рынке.

Новость о резком падении прибыли Macy’s стронула лавину, и стоимость акций различных компаний розничного сегмента упала в цене суммарно на 34 млрд долларов. Не только Macy’s ошиблись в прогнозах насчет получения массовой прибыли на праздничных распродажах, рассчитывая на высокую потребительскую покупательную способность. Kohl’s, JCPenney и другие специализированные розничные сети также сообщили о довольно посредственных результатах сезона праздничных скидок. А итоги этого периода считаются для сектора ключевым показателем успеха.

Примерно в это же время случилось еще одно знаковое событие: второй старейший в США ритейлер, Sears, сообщил о своем закрытии.

Аналитики, считающие Macy’s законодателем покупательских трендов для американского среднего класса, объясняют неудачи компании неожиданными скачками цен на акции, которые наблюдались за несколько недель до Рождества, и пожаром в распределительном центре компании, что, по мнению аналитиков, сказалось на ассортименте.

Оба этих фактора сыграли определенную роль, но они не так значимы на фоне действительно важных проблем, с которыми столкнулись Macy’s и другие традиционные физические ритейлеры, которые в последние годы пытаются убедить мир в том, что их привычная модель торговли крепко стоит на ногах.

Падение физического ритейла

Традиционная модель физических магазинов если и не мертва, то точно находится в реанимации. Диагноз довольно прост: ритейлеры не увидели леса цифровых возможностей за деревьями магазинной торговли.

Во многом это случилось из-за того, что ритейлеры на основании неверных данных сделали неправильные предположения об актуальных потребительских привычках.

Более пяти лет назад компания Backblaze опубликовала первый отчёт по использованию дисковых накопителей в своих серверах. Backblaze предоставляет услугу дешёвого облачного бэкапа. В основе их инфраструктуры — жёсткие диски потребительского класса. Компания собрала большую статистику по отказоустойчивости разных типов HDD. В то время парк накопителей Backblaze состоял в основном из дисков Seagate, Hitachi и WD, а самыми надёжными оказались диски Hitachi.

С тех пор Backblaze публикует статистику ежегодно, и сейчас пришло время очередного отчёта.

В целом ответ – да. Особенно, когда есть мозги и знание теоремы Байеса.

Напомню, что среднее и дисперсию можно считать только, если у вас имеется определенное количества событий. В старых методичках СССР РТМ (руководящий технический материал) говорилось, что чтобы считать среднее и дисперсию необходимо 29 измерений. Сейчас в ВУЗах немного округлили и используют число 30 измерений. С чем это связано – вопрос философский. Почему я не могу просто взять и посчитать среднее, если у меня есть 5 измерений? По идее ничто не мешает, только среднее получается нестабильным. После еще одного измерения и пересчета оно может сильно измениться и полагаться на него можно начиная где-то с 30 измерений. Но и после 31го измерения оно тоже пошатнется, только уже не так заметно. Плюс добавляется проблема, что и среднее можно считать по разному и получать разные значения. То есть из большой выборки можно выбрать первые 30 и посчитать среднее, потом выбрать другие 30 и тд … и получить много средних, которые тоже можно усреднять. Истинное среднее бывает недостижимо на практике, так как всегда имеем конечное количество измерений. В таком случае среднее является статистической величиной со своим средним и дисперсией. То есть измеряя среднее на практике мы имеем в виду «предположительное среднее», которое может быть близко к идеальному теоретическом значению.

Попробуем разобраться в вопросе, на входе мы имеем некоторое количество фактов и хотим на выходе построить представление об источнике этих фактов. Будем строить мат модель и использовать теорию Байеса для связки модели и фактов.

Пользование только мобильным интернетом. Источник: Омнибус ГФК-Русь, вся Россия, население 16+

По статистике GfK, в 2018 году резко увеличилась доля россиян, которые выходят в интернет только с мобильных устройств и вообще не пользуются для этого персональными компьютерами. За год «чисто мобильная» аудитория выросла с 18% до 35%.

Среди самых молодых пользователей у 41% компьютеры отсутствуют или не используются для интернета. Ситуация не слишком отличается для людей средних лет: 30%. Такими темпами смартфоны скоро могут стать основным устройством для выхода в интернет. Некоторые эксперты говорят, что это уже произошло.

Привет, Хабр! Представляю вашему вниманию перевод моей статьи "Understanding the Customer Lifetime Value with Data Science".

Взаимоотношения с клиентами важны для каждой компании и играют ключевую роль в росте бизнеса. Одна из наиболее важных метрик в этой сфере — пожизненная ценность клиента (customer lifetime value, далее LTV) — предсказание чистого дохода, связанного со всеми будущими отношениями с клиентом. Чем дольше клиенты продолжают пользоваться продуктами компании, увеличивая прибыль, тем выше их LTV.

Есть много маркетинговых статей, о том, как важны LTV и сегментирование клиентов. Но, как Data Scientist’а, меня больше интересуют формулы и я хочу понимать, как модель на самом деле работает. Как предсказать LTV, используя только 3 признака? В этом посте я покажу некоторые модели, которые используются для маркетинговой сегментации клиентов и объясню математику, на которой они основаны. Здесь будет много формул, но не переживайте: все уже готово в библиотеках Python. Цель этого блога показать, как математика делает всю работу.

Beta-geometric/negative binomial модель для определения вероятности, что клиент “жив”

Рассмотрим такой пример [из онлайн-сервиса для заказа поездок (такси) по городу]: пользователь зарегистрировался 1 месяц назад, сделал 4 поездки и последняя поездка состоялась 20 дней назад. Основываясь только на этих данных, эта модель может предсказать вероятность, что клиент будет активен в течение определенного периода времени (как показано на графике), а также число транзакций в будущем (которое является основой для понимания ценности клиента в течение всей его “жизни” — взаимоотношений клиента и компании).

Модель дает прямое руководство к действию для бизнеса: предпринять маркетинговые меры по отношению к пользователю, когда его вероятность активности снижается ниже определенного уровня, чтобы предотвратить его уход.

У Ильфа и Петрова есть фельетон о том, как писатели ходят по инстанциям и просят организовать юбилеи. Излишнее внимание к ним, действительно, штука смешная, но оглядываться назад полезно. Формально мой первый научно-популярный материал о космонавтике вышел летом 2013, но я предпочитаю отсчитывать от начала 2014 года, когда я перешел в режим регулярного создания контента. Таким образом сейчас получается наноюбилей в пять лет. А еще случайно вышло так, что в 2014 году из Хабрахабра выделили Гиктаймс, а в этом году влили обратно. И можно посмотреть на то, как менялись цифры, отражающие поведение пользователей. Также под катом традиционные размышления о GTD и отчет о прошедшем годе.


Автор: Рина Зенюк

Уходящий 2018 год для платежей и коммерции оказался невероятно богат на события.

За прошедшие 12 месяцев выросла популярность применения интернет-устройств в этой сфере.

Ключевые игроки сделали большой шаг в сторону консолидации экосистемы платежей, упрощения процесса оплаты и масштабирования.

Регуляторы США и других стран внедрили новые правила предоставления платежных и финансовых услуг, ставящие под угрозу структуру и существование технологических гигантов.

Несмотря на обилие новостей, утверждающих, что физический ритейл жив и остается на плаву, все больше потребителей стали отказываться от традиционных магазинов в пользу онлайн-покупок и быстрой доставки.

Примерно год назад Карен Уэбстер, журналист новостного аналитического издания PYMNTS и автор этого материала, сделала несколько предположений о том, какими могут стать платежи в 2018 году. Тогда она выделила несколько общих тем, которые, по ее мнению, должны были определить события грядущего года. В этом материале она возвращается к своим прогнозам и проверяет, насколько точными они оказались.

Прогноз первый: влиятельные игроки еще больше усилят свои позиции

Участники рынка, достигшие крупных размеров, должны были расширить свое присутствие в экосистеме и упрочить отношения с потребителями. Почему? Потому что платежи и коммерция — это про масштабы.

11 декабря PornHub опубликовал ежегодный отчет о своей работе в 2018. В 20 стран с наибольшим трафиком в этом году впервые вошла Украина. Занимая 16 место по трафику, украинские пользователи поднялись сразу на 11 позиций в сравнении с 2017 годом.

Неочевидной причиной столь резкого роста популярности PornHubʼа стал запрет вконтакте на территории Украины с мая 2017 года. Часть аудитории социальной сети, которая пользовалось вконтакте как PornHubʼом на протяжении последних полутора лет плавно мигрировала на PornHub.

Под катом много картинок графиков Google Trends, которые помогут детальней рассмотреть миграцию. Предпраздничная пятница, как раз время, чтобы анализировать поведение пользователей по времени, географическому расположению и видео предпочтениям.

Автор этого материала делится способом оценки времени, которое будет затрачено на переписывание уже внедренного проекта.


По мере разрастания кода работать с ним становится все труднее. Годы разработки и отлавливания багов приводят к желанию перечеркнуть все и начать с чистого листа. Действительно, очень заманчива мысль о том, чтобы оставить ошибки в прошлом, вооружиться новыми технологиями и на этот раз все сделать правильно. Однако перед прыжком в бездну я все же предлагаю внимательнее присмотреться к реальной стоимости этого шага.

Модель оценки объема работ

Вы можете свести в один список все фичи своего приложения, а после оценить этапы и приблизительное время их переработки. Большинство именно так и поступает перед тем, как приступить к работе. Но почему тогда на практике выходит, что подобные проекты занимают в 4, 8 или даже 10 раз больше времени, чем разработчики заложили на старте?


Есть три ключевых фактора, которые существенно растягивают процесс. И обычно при оценке затрат их игнорируют. Речь идет о:

1. необходимости наверстать разницу между уровнями текущего и нового приложений,
2. объеме непредусмотренных изменений,
3. улучшениях, которые придется сделать, чтобы пользователи захотели перейти на новое приложение.

Сокращение разницы

Первый фактор — новому приложению необходимо догнать текущее.

Новый год — время подводить итоги. И если вы ведёте блог на хабре, или вам интересно посмотреть статистику по чьему-нибудь чужому блогу — то вам может пригодиться моя опенсорсная утилитка.

В 2007 году СМИ пестрели заголовками о революционном продукте, который изменит судьбы мерчантов и даст потребителям бесчисленные выгоды. Аналитики назвали продукт «историческим шансом» улучшить проседающие показатели прибыли. А инноваторы бросились создавать новые приложения, чтобы ухватиться за эту возможность.

Что это было? Нет, не iPhone, хотя такое предположение вполне логично. Речь идет о дебетовых картах без привязки к банкам.

Виновником «революции» стал Capital One, один из крупнейших банковских холдингов. Его предложение многие посчитали гениальным ходом на фоне нехватки спроса на срочные депозиты и отсутствия у организаций иных способов предоставления дебетовых предложений, которые бы привлекали и удерживали потребителей.


Новый продукт получал средства с депозитных счетов других эмитентов и работал у любого мерчанта, принимающего MasterCard. С его помощью холдинг Capital One одновременно предлагал потребителям нечто свежее и реализовывал инновационную бизнес-модель, вокруг которой создавалась новая программа лояльности.

Для пользователей выгода состояла в получении функциональности, схожей с дебетовыми продуктами. Средства для оплаты услуг мерчантов брались напрямую с пользовательских чековых счетов, и не возникало необходимости переносить свой депозитный счет в некий новый банк ради выгодного кэшбека.

Вдохновленные перспективами, ритейлеры принялись разрабатывать собственные продукты с теми же преимуществами: дебетовой функциональностью, крупными вознаграждениями для лояльных клиентов и уменьшенным размером межбанковской комиссии для всех транзакций в своих магазинах.

И эти усилия…

«Черная пятница» для онлайн-ритейла была очень продуктивной.

Ностальгия по-прежнему приводила потребителей в обычные магазины. Но не за выгодными предложениями, а больше ради той неповторимой атмосферы скидок и праздничного настроения, по-настоящему ощутить которую можно только в пышно украшенных моллах.

Но в этом году миллионы людей оставили машину в гараже и воспользовались выгодными акциями, не вставая с дивана. Компания Adobe провела анализ 80 из 100 наиболее популярных интернет-ритейлеров и выяснила, что в период между Днем благодарения и концом «черной пятницы» потребители со своих смартфонов сделали покупки на общую сумму в 2 млрд долларов.

С любым другим днем для шопинга «черную пятницу» объединяет то, что большая часть потребителей, как обычно, были в поиске выгодных предложений и удобного покупательского опыта, для чего активно пользовались смартфонами.

Шопинг на кончиках пальцев

Согласно данным проведенного в 2016 году исследования, люди берут смартфон в руки 2617 раз в день, то есть почти каждые 33 секунды.

Тогда эта статистика казалась удивительной. Сейчас она не только вполне правдоподобна, но и указывает на важность мобильных устройств в решении повседневных пользовательских задач. Смартфоны стали катализатором, который каждые 33 секунды ускоряет стирание грани между онлайн и офлайн-мирами как для потребителей, так и для бизнеса.  

Влияние мобильных устройств сильнее всего ощущается в процессах поиска и покупки желаемых товаров. Второе ежегодное исследование аналитической группы PYMNTS, проведенное совместно с Visa, позволяет оценить скорость и энтузиазм, с которыми потребители впускают в свою жизнь новые интернет-устройства и сценарии, делающие шопинг более контекстным.

Резервуарная выборка (eng. «reservoir sampling») — это простой и эффективный алгоритм случайной выборки некоторого количества элементов из имеющегося вектора большого и/или неизвестного заранее размера. Я не нашел об этом алгоритме ни одной статьи на Хабре и поэтому решил написать её сам.

Итак, о чём же идёт речь. Выбрать один случайный элемент из вектора — это элементарная задача:

// C++
std::random_device rd;
std::mt19937 gen(rd());
std::uniform_int_distribution<> dis(0, vect.size() — 1);

auto result = vect[dis(gen)];

Задача «вернуть K случайных элементов из вектора размером N» уже хитрее. Здесь уже можно ошибиться — например, взять K первых элементов (это нарушит требование случайности) или взять каждый из элементов с вероятностью K/N (это нарушит требование взять ровно K элементов). Кроме того, можно реализовать и формально корректное, но крайне неэффективное решение «перемешать случайно все элементы и взять K первых». И всё становится ещё интереснее, если добавить условие того, что N — число очень большое (нам не хватит памяти сохранить все N элементов) и/или не известно заранее. Для примера представим себе, что у нас есть какой-то внешний сервис, присылающий нам элементы по одному. Мы не знаем сколько их придёт всего и не можем сохранить их все, но хотим в любой момент времени иметь набор из ровно K случайно выбранных элементов из уже полученных.

Алгоритм резервуарной выборки позволяет решить эту задачу за O(N) шагов и O(K) памяти. При этом не требуется знать N заранее, а условие случайности выборки ровно K элементов будет чётко соблюдено.

Количество роботов на 10 000 работников в 2017 году. Источник: ITIF

Россия опять заняла одно из последних мест в мировом рейтинге роботизации производства. Ежегодно такие рейтинги выпускает Международная федерация робототехники (IFR) для Фонда информационных технологий и инноваций (ITIF). Рейтинг включает в себя количество промышленных роботов на 10 000 производственных рабочих в стране.

Согласно информации, опубликованной IFR в Фонде информационных технологий и инноваций (ITIF), средний мировой показатель в 2017 году составил 85 роботов на 10 000 работников. Это на 15% больше, чем в прошлом году.

Потребительские настроения в Америке в этом году бьют рекорды – несмотря на недавние обвалы бирж и обилие страшных историй о том, чем (и кем) жертвуют компании ради такого снижения цен. Нынешний День благодарения стал самым успешным для ритейлеров за всю историю – с $3,7 млрд продаж только онлайн. Но Черная пятница легко обошла его результат. По данным Adobe, которая отслеживает триллионы транзакций на сайтах 80 крупнейших интернет-магазинов, за один день люди потратили в них $6,22 млрд – по $25 на каждого взрослого жителя страны. Пока что 2018-й бьет все рекорды.

Или: Как переход от публикации P-значений к публикации функций правдоподобия поможет справиться с кризисом воспроизводимости: личное мнение Элиезера Юдковского.



Комментарий переводчика: Юдковский, автор HPMOR, создатель Lesswrong и прочая и прочая, изложил свою позицию по поводу пользы байесовской статистики в естественных науках в форме диалога. Прямо классический такой диалог из античности или эпохи возрождения, с персонажами, излагающими идеи, обменом колкостями вперемешку с запутанными аргументами и неизбежно тупящим Симплицио. Диалог довольно длинный, минут на двадцать чтения, но по-моему, он того стоит.


Модератор: Добрый вечер. Сегодня в нашей студии: Учёный, практикующий специалист в области… химической психологии или чего-то типа того; его оппонент Байесовец, который намерен доказать, что кризис воспроизводимости в науке можно как-то преодолеть с помощью замены P-значений на что-то из Байесовской статистики…
Студент: Извините, как это пишется?
Модератор:… и, наконец, ничего не понимающий Студент справа от меня.

Вчера компания «Яндекс» запустила проект «Яндекс.Радар» — рейтинг самых популярных ресурсов в рунете, который строится по математический модели на основании агрегированных данных «Яндекс.Браузера». При желании площадки могут подключать данные из «Яндекс.Метрики», чтобы добавить в статистику демографические данные по аудитории и др.

Новый сервис понравился не всем. Главный конкурент «Яндекса» в российском сегменте Mail.Ru сразу же заявил о недоверии этой метрике и попросил убрать из рейтинга свои сайты.

Mail.Ru считает, что «Яндекс» сам является игроком рекламного рынка, и поэтому ему некорректно вести такой рейтинг. Кроме того, он заведомо неправильно отражает аудиторию сайтов, поскольку опирается на данные «Яндес.Браузера». То есть завышенные показатели будут у сайтов, где высока доля пользователей «Яндекс.Браузера». Очевидно, что это лояльные «Яндексу» ресурсы.

На иллюстрации: топ-10 самых популярных сайтов рунета по версии «Яндекса» за период с 1 по 9 ноября 2018 года (в млн). Синим обозначены сайты, которые предоставили свои данные, красным — оценка математической модели «Яндекса»