Комментарии 9
Приведите несколько примеров реальных кейсов, где было бы видно пользу от прогнозирования в IT инфраструктуре (сервера, схд, сети), если не сложно.
Пример по СХД: мы собираем информацию о количестве свободного места и прогнозируем это поле на месяц вперед, тем самым мы можем за примерно за месяц узнать, когда закончиться место и тем самым решать проблему проактивно.
Пример по сервера: мы собираем перфоманс метрики серверов и запускаем алгоритм выявления аномалий, тем самым можем выявлять аномальное повышение загруженности систем и выявлять их причины.
Пример по сетям: у вас есть прокси-сервер, мы собираем логи с информацией о запросах проходящих через него, считаем следующие метрики: количество запросов, среднее время между запросами, и дисперсию(от времени между запросами). Строим следующий алерт: если запросов много, среднее время между ними и дисперсия маленькие (60-180 секунд) — то высылать алерт. (Если выполняются эти условия, значит есть подозрение о том, что это бот посылает запросы через прокси сервер, так среднее время и разброс между ними маленькие, а запросов много).
Пример по сервера: мы собираем перфоманс метрики серверов и запускаем алгоритм выявления аномалий, тем самым можем выявлять аномальное повышение загруженности систем и выявлять их причины.
Пример по сетям: у вас есть прокси-сервер, мы собираем логи с информацией о запросах проходящих через него, считаем следующие метрики: количество запросов, среднее время между запросами, и дисперсию(от времени между запросами). Строим следующий алерт: если запросов много, среднее время между ними и дисперсия маленькие (60-180 секунд) — то высылать алерт. (Если выполняются эти условия, значит есть подозрение о том, что это бот посылает запросы через прокси сервер, так среднее время и разброс между ними маленькие, а запросов много).
Все это умеет бесплатный Zabbix (без ограничения по логам). И у него также есть функция прогнозирования. Понимаю, что это продукт немного другого класса, но все же…
Не хочется ничего плохого говорить про Zabbix, но алгоритмы прогнозирования там несколько слабее…
Zabbix как Nagios и любой другой мониторинг не хранит все данные за все время в силу того что СУБД не резиновая и когда накопилось информации за много времени все будет тормозить, очевидно что делают мониторинги — агрегируют информацию и хранят не все данные, а некоторые усреднения.
Из этой особенности есть два следствия:
1. прогнозирование по агрегациям получается хуже, особенно если мы говорим про сезонные (минутные-часовые) пики, которые просто «смазываются»
2. мы не можем выявлять аномалии в поведении системы, поскольку все аномалии уходят под нож усреднения.
Таким образом осуществлять точные прогнозы и находить аномалии без полного архива довольно сложно.
Из этой особенности есть два следствия:
1. прогнозирование по агрегациям получается хуже, особенно если мы говорим про сезонные (минутные-часовые) пики, которые просто «смазываются»
2. мы не можем выявлять аномалии в поведении системы, поскольку все аномалии уходят под нож усреднения.
Таким образом осуществлять точные прогнозы и находить аномалии без полного архива довольно сложно.
Это понятно. Просто мне не совсем понятен сегмент Splunk-а. Т.е. использовать его для простейших задач по мониторингу IT-инфраструктуры скорее всего глупо, т.к. навалом бесплатных инструментов, функционала которых достаточно. Видимо я просто далек от задач аналитики и мне по большей части нужен лишь функционал мониторинга.
Посмотрел другие ваши статьи про Splunk, в целом очень познавательно. Уверен многих заинтересует полноценное сравнение Splunk vs ELK.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Обзор Splunk Machine Learning Toolkit