Год без Splunk — как американская компания изменила рынок аналитики машинных данных в РФ и кого оставила после себя

Почти год назад в России не стало Splunk. Эта статья во многом обзорная. Она и про машинные данные, и о рыночной нише, и о примере импортозамещения, который случился без громких лозунгов — просто потому, что этого потребовал рынок. Эксклюзивно — версия автора о причине ухода Splunk из России, но возможно, что все было совсем не так.

Что собой представляют машинные данные?

Хотя многие из нас намного чаще слышат термин «Большие данные» (Big Data), будем говорить о машинных данных, т.е. данных, генерируемых в цифровом виде от самых различных источников. И дело не в сужении предметной области, а именно в точности определения.

Машинные данные — это любые данные, генерируемые цифровыми устройствами. К ним можно отнести логи с корпоративных серверов и сетевых устройств, данные с датчиков промышленных систем и устройств IoT, сообщения на корпоративную электронную почту, активность на веб-сервере, записи о входе и выходе сотрудников из своих аккаунтов, финансовые транзакции в цифровом виде, звонки в службу поддержки компании и многое, многое другое.

Важно, что среди чисто технических сообщений в машинных данных в огромном количестве содержатся сведения, отражающие бизнес-процессы организации — взаимодействие бизнеса со своими контрагентами и посредниками (банками, страховыми и сервисными компаниями, регулирующими органами). Статистика активности сотрудников в корпоративной сети и при физическом передвижении по предприятию, движение товаров по складу, востребованность и продолжительность исполнения услуг и т.д. — все это тоже машинные данные.

Далее возникает идея: провести анализ машинных данных, чтобы определить «узкие места» ИТ-систем и бизнеса, оптимизировать качество обслуживания клиентов, найти уязвимые места в информационной безопасности предприятия и следы действий мошенников.

Сложность использования машинных данных заключается в том, что они представлены в невероятном количестве форматов.

Идея верная, но трудная в реализации. Сложность использования машинных данных заключается в том, что они представлены в невероятном количестве форматов, а традиционные инструменты мониторинга и анализа не предназначены для такого разнообразия, скорости поступления, объема или изменчивости этих данных.

Начали с SIEM-систем и бизнес-аналитики, а закончили решениями Splunk

Когда лет 10 назад началось изучение применимости машинных данных, на рынке стали появляться программные решения по их обработке и анализу. Стремясь создать наилучшие инструменты в своем классе, разработчики стали сужать предметную область анализа машинных данных.

Так появились и достигли высокого уровня зрелости SIEM-системы (Security Information and Event Management). Это программные продукты в сфере информационной безопасности (ИБ). Они мониторят в реальном времени информационные системы, собирают и анализируют машинные данные, относящиеся к ИБ. В сферу действия SIEM-систем попадают серверы, сетевые устройства, датчики, настольные и мобильные устройства, средств защиты информации, инфраструктура систем и приложений.

Другой ветвью анализа машинных данных стали системы мониторинга состояния ИТ-инфраструктуры. Третьей — системы бизнес-аналитики (BI, Business intelligence), анализирующие бизнес-процессы на основе массива данных, относящихся к деловой активности предприятия.

Что хорошо — в каждой из перечисленных ветвей анализа машинных данных достигнуты значительные успехи и на рынок выведены достойные решения и продукты. Что не так здорово — интеграция разнородных систем мониторинга ИТ-инфраструктуры, регистрации и предупреждения инцидентов ИБ и анализа бизнес-процессов оказалось довольно сложным делом, порой напоминающим «скрещивание ежа и ужа».

Когда эта проблема оказалась осознанной рынком, различные вендоры направили усилия своих разработчиков на создание универсальной системы анализа машинных данных. То есть системы, которая одна была бы способна ответить и на вопрос CIO – «Почему у меня столь неравномерная нагрузка серверов», и на вопрос CEO – «Какие из бизнес-процессов предприятия ведут нас к прибыли, а какие — к банкротству».

В целом, рынок сходится в мнении, что самое удачное универсальное решение анализа машинных данных предложила американская компания Splunk.

Так получилось, что самое удачное универсальное решение анализа машинных данных предложила американская компания Splunk. При том, что у Splunk есть такие конкуренты как IBM, BMC Software, Microsoft, Quest Software, а также варианты реализации аналитики на опенсорсном стеке ELK. Но именно решения от Splunk стали лидерами рынка. Splunk Enterprise — продукт с наиболее широкой функциональностью стал де-факто отраслевым стандартом комплексных систем аналитики машинных данных для крупных предприятий.

Рынок принял продукты Splunk, прежде всего, за отличное сочетание простоты установки, гибкости настройки и многообразии аналитических инструментов. У Splunk существует своя экосистема, которая называется Splunkbase. Здесь разработчики и клиенты, входящие в комьюнити Splunk, выкладывают различные дополнения, технологические аддоны и приложения, которые решают разные задачи. Например, там можно загрузить приложения, одно из которых собирает логи с устройств Cisco, а второе — с сетевых устройств другого производителя и т.д. Такое взаимодействие выгодно и разработчикам, и клиентам.


Общий вид экрана Splunkbase. Источник: Splunk


Крупным планом — примеры аддонов и приложений в Splunkbase. Указывается число скачиваний как метрика популярности. Источник: Splunk

Если немного углубиться в экосистему Splunkbase, то можно пояснить различия — приложение отличается от аддона тем, что приложение имеет графический интерфейс. Это визуальные панели, дашборды (циферблаты), формы, диаграммы, которые позволяют в графическом интерфейсе видеть аналитику по вопросу, который адресован системе. Пользователь может строить поиск и аналитику по самым разным параметрам, максимально углубляясь во временной слот произошедших событий для выявления причин произошедшего.

История Splunk в России — яркая, но недолгая

Столь богатый по функциональности продукт как Splunk не мог пройти мимо внимания CIO крупных российских компаний. Ведь чем крупнее предприятие, тем сложнее им управлять и выявлять факторы, влияющие на эффективность бизнеса, стабильность работы ИТ-инфраструктуры и средств информационной безопасности.


Обзорная презентация решения Splunk Enterprise (https://www.volgablob.ru/ru/solutions/splunk). Источник: VolgaBlob

Splunk пришел в Россию на рубеже 2013 года и начал строить партнерскую сеть по классической схеме — дистрибутор лицензий (RRC) и партнеры-внедренцы (VolgaBlob, TS Solution, Талмер). Учитывая, что стоимость лицензий у Splunk довольно высокая, и вендор ориентировался на клиентов из крупного бизнеса (а они все наперечет), то число партнеров было небольшим.

Компания VolgaBlob стала одним из первых партнеров, начавшим работать с решениями Splunk. Очень пригодился предыдущий 10-летний опыт в области разработки, кастомизации и внедрения средств информационной безопасности.

«Мы были вполне зрелым игроком на рынке кибербезопасности, но Splunk стал для нас настоящим открытием (!) и новой захватывающей перспективой. Мы начали развивать свою экспертизу в области анализа бизнес-процессов, в том числе на стыке с ИБ, строить наборы своих технических коннекторов и приложений в экосистеме Splunk и предлагать это все в рамках конкретных законченных пользовательских кейсов для компаний федерального уровня», — делится впечатлениями Александр Скакунов, генеральный директор VolgaBlob.

К 2018 году, в котором было выполнено наибольшее число проектов на базе Splunk Enterprise в России, в числе клиентов, использующих Splunk, были уже такие бренды как Роснефть и СУЭК, Сбербанк и Тинькофф Банк, МТС, Московская биржа и Мегафон. Кульминация событий — З0 октября 2018 состоялась впечатляющая по числу участников и уровню докладов конференция Splunk Discovery Day Moscow 2018. Полный зал и CIO из множества компаний. Кто из участников тогда мог предположить, что всего через 3 месяца на рынке будут совсем другие настроения.


Фото с конференции Splunk Discovery Day Moscow 2018. Источник: avleonov.com

19 февраля 2019 года компания Splunk объявила об экстренном уходе с российского рынка неожиданно для нашего ИТ-сообщества. Оставшиеся в недоумении партнеры и клиенты смогли лишь прочесть невнятный пресс-релиз на сайте вендора. В нем уход из России туманно объяснялся «инвестиционными причинами». Все попытки партнеров получить более вразумительные объяснения оказались тщетными.

Неприятные ощущения испытали не только партнеры Splunk, но и клиенты, которым внезапно отключили доступ к своим аккаунтам. Когда через несколько дней страсти немного улеглись (см. подробнее на Хабре), Splunk сообщил, что клиенты с действующими лицензиями могут пользоваться своими аккаунтами до окончания срока действия лицензий, а партнеры — продолжать их обслуживать на свой страх и риск, но без содействия со стороны вендора.

Версия автора об уходе Splunk из России, но возможно, что все было не так

В этом разделе у нас будет антигерой, их даже два, и оба из Splunk — это Дуг Мерритт (СЕО) и Кэрри Пэйлин (CMO, директор по маркетингу).

Есть у публичных американских компаний замечательный раздел сайта, где они обязаны раскрывать инвесторам ситуацию о своих делах. Вот оттуда можно узнать следующее: 19.02.2019, когда Splunk (SPLK, NASDAQ) опубликовал релиз об уходе из России, это был первый рабочий день Кэрри Пэйлин, CMO — ее только наняли. Но решение об уходе из РФ наверняка было принято немного раньше. Скорее всего, были консультации с ней, переговоры еще до официального первого рабочего дня и сокращение издержек на уходе из РФ было ее предложением «свежих маркетинговых идей», как это принято на собеседованиях топ-менеджеров.

CEO, Дуг Мерритт, возможно что идею одобрил, а тогдашний CFO (финдиректор) Splunk, который дорабатывал в тот момент свою каденцию и уходил из компании, видимо не стал возражать (в мае 2019 они наняли нового CFO).

Тот, кто инвестирует в американский рынок, — первым, что сделает, это посмотрит, — как акции Splunk отреагировали на уход с рынка РФ? Ответ — никак, нейтрально (см. график). Последующее снижение акций с 1 марта 2019 года связано с Cisco, — был вброшен инсайд, что они им якобы то продавались, то не продавались (и не продались до сих пор).


Дневной график акций SPLK на весну 2019 года. Источник: Tradingview

График показывает, что официально заявленная причина ухода из РФ про «оптимизацию для инвесторов» не была 100% отговоркой, а хотя бы частично правдой. Можно понять их логику — кривая роста акций на тот момент впечатляла (и заслуги рынка РФ в этом нет никакой — это ФРС накачивала американский фондовый рынок ликвидностью). В то же время в масштабах Splunk бизнес в РФ был виден разве что в микроскоп (несмотря на все старания партнеров в РФ), а суеты много и в любой момент можно попасть под санкционную раздачу (что в начале 2019 года было вполне реальным риском).

Пример замещающего продукта после ухода Splunk

Хотя прямого конкурента у Splunk в виде коммерческого решения на нашем рынке не было, российскими разработчиками предпринимались попытки сделать устраивающий их аналог на основе проектов с открытым кодом ELK. Это делалось в основном в средних по объему бизнеса компаниях, которые не могли позволить себе покупку Splunk. Но широкого распространения практика не получила, т.к. самописные продукты держатся на энтузиазме конкретных сотрудников, а после их ухода забрасываются.

Для ELK есть коммерческая версия, но в РФ она минимально востребована и во многом конкурирует с бесплатным ПО.

ELK — это аббревиатура от трех опенсорсных проектов Elasticsearch, Logstash и Kibana. Здесь Elasticsearch — поиск и аналитика, Logstash — обработка машинных данных из нескольких источников одновременно, а Kibana — проект по созданию средств визуализации результатов от Elasticsearch и Logstash. Хотя изначально ELK не был нацелен на анализ машинных данных, его вскоре начали применять для обработки логов, имеющих временную метку.

Автор не берется рассказать о судьбе всех IT-компаний в РФ, связанных с внедрением Splunk, но есть показательная история — как события 2019 года повернули бизнес VolgaBlob, партнера Splunk.

У Volgablob, как и у других бывших партнеров Splunk, после ухода вендора возникли две рыночные ниши. Первая — обслуживать и далее клиентов с действующими лицензиями на платформе Splunk (а среди них есть компании с бессрочными лицензиями), вторая — дать клиентам, которые хотят мигрировать на иную платформу, альтернативу на базе продукта с открытым кодом.

Как известно, любой кризис — это не только потери, но и новые возможности. VolgaBlob, оказался в очень непростой ситуации, так как внедрение и кастомизация юзкейсов на Splunk были их существенным источником заказов и, естественно, доходов. Вместо того, чтобы закрыть бизнес или уходить в иные ниши, они перегруппировали команду, наняли новых разработчиков и стали перетаскивать свои разработки приложений с платформы Splunk на ELK.

«За годы присутствия Splunk на российском рынке мы сделали свой фирменный набор приложений для Splunk, который назвали Smart Monitor. Там собраны наиболее востребованные российскими клиентами «фичи». Когда вендор внезапно ушел, нам помогли проявленная в свое время прозорливость и желание диверсифицироваться в вопросах выбора платформы работы с машинными данными», — говорит Александр Скакунов.

Словно откликаясь на комментарий с Хабра к уходу вендора «… Может найдутся умельцы, кто сделает альтернативу», VolgaBlob удалось в сжатые сроки реализовать набор аналитических инструментов Smart Monitor, ранее разработанных для Splunk, но теперь уже на платформе ELK. Новое решение назвали Smart Monitor Open Source. Здесь нет своей экосистемы приложений от других независимых разработчиков. Зато есть немало модулей сбора данных и аналитики, отобранных по юзкейсам у действующих клиентов, т.е. востребованных на российском рынке.

Впервые Smart Monitor Open Source был представлен на конференции VB-Trend 2019: Plan > B, прошедшей 13 ноября 2019 года в Москве. В названии — желание предложить замещающий продукт и раскрыть карты по теме, которая волнует сотни компаний в России, ранее использовавших Splunk.

Автор не считает правильным копировать сюда материалы с конференции. Специалисты, работающие в сфере анализа машинных данных, узнают подробности о замещающем Splunk продукте на страницах VB-Trend 2019. А все остальные, включая автора — мы вполне можем просто порадоваться за российских разработчиков.