Облачные сервисы Oracle для ИТ-мониторинга
Новые облачные сервисы Oracle для ИТ-мониторинга обеспечивают эффективный мониторинг производительности бизнес-приложений в реальном масштабе времени и позволяют ответить на ряд вопросов: насколько быстро открываются веб-страницы, какие возникают ошибки, какова их причина. Платформа мониторинга, также, позволяет эффективно находить причины различных проблем через анализ лог-файлов и обеспечить планирование ресурсов ИТ-ландшафта: измерять загрузку баз данных и серверов приложений, оценивать и прогнозировать реальное использование ресурсов CPU, I/O, памяти.
В январе 2016 г. компания Oracle представила группу новых сервисов под общим названием Management Cloud, в числе которых Application Performance Monitoring, Log Analytics и IT Analytics. В первую очередь они предназначены для службы эксплуатации ИТ-инфраструктуры, администраторов приложений, ИТ-архитекторов, руководителей ИТ-подразделений. Разумеется, у пользователей возникает вопрос: а как же наш Enterprise Manager — единая платформа для мониторинга и управления ИТ-инфраструктурой? Дело в том, что Enterprise Manager, безусловно, очень мощная система, незаменимый помощник в мониторинге отдельных компонентов, таких как база данных, сервер, программно-аппаратный комплекс и т.д. Но когда речь идет о том, чтобы локализовать проблему, найти ее в бизнес-приложении, состоящем из множества компонентов, из множества баз данных, из множества серверов приложений, которые установлены на разных физических и виртуальных серверах, — нужны специализированные инструменты. Кстати, важно понимать, что инструменты Oracle Management Cloud работают в Публичном Облаке Oracle, но в тесной интеграции с локальным Enterprise Manager.
Ключевые возможности инструментов Oracle Management Cloud: мониторинг веб-приложений на уровне конечных пользователей и компонентов инфраструктуры, помощь в планировании мощностей и ресурсов для ИТ-организации, анализ метрик и событий, агрегирование данных журналов, автоматизированное выявление аномалий и первопричин инцидентов. Исходными данными для инструментов мониторинга являются лог-файлы, данные, порождаемые пользователями, машинные данные, трассировочные файлы, метрики производительности, диагностические данные из репозитория EM, трассировочные данные, журналы аудита и т. д. (Рисунок 1).
Важным источником данных для Oracle Management Cloud являются данные репозитория Enterprise Manager (Рисунок 2).
Сервис Application Performance Monitoring (Рисунок 3) предназначен для мониторинга веб-приложений, построенных на платформе Oracle WebLogic или Apache Tomcat. Задачи APM — «профилирование» веб-приложения на различных уровнях: от конечного пользователя до инфраструктуры, помощь в поиске первопричин инцидентов, предоставление единого интерфейса для службы эксплуатации и разработчиков и, конечно, проактивный мониторинг опыта конечных пользователей; сервис Application Performance Monitoring позволяет определить опыт взаимодействия конечного пользователя с вашим веб-приложением. При этом APM позволяет производить контекстный нисходящий анализ производительности приложения от уровня пользователя, визуализировать взаимодействие модулей приложения и, если нужно, переключаться на «нижний» уровень, чтобы анализировать возможные связанные проблемы инфраструктуры.
Служба эксплуатации и разработчики имеют в лице Application Performance Monitoring единый источник информации для реальной диагностики производительности вплоть до уровня кода и SQL-запросов. Разработчики получают доступ к ценным диагностическим данным и работают совместно со службой эксплуатации — они дополняют друг друга, это обеспечивает быстрое устранение проблем, повышается качество сопровождения (DevOps).
Сервис Application Performance Monitoring основан на методе инструментирования кода (похожая технология используется, например, в СУБД Oracle). Специальные агенты инструментируют код приложения и веб-страниц, измеряя производительность и передавая метрики в публичное облако через прокси-сервер в безопасном режиме.
Инструмент Log Analytics (Рисунок 4) может работать в связке с Application Performance Monitoring. Именно этот сервис непосредственно работает с журнальными файлами — он занимается поиском, сбором, хранением данных из журналов, анализом и исследованием информации в журналах и визуализацией.
Достоинство инструмента Log Analytics заключается в том, что он не зависит ни от компонентов инфраструктуры, ни от форматов журнальных файлов. Сервис «из коробки» поддерживает около 30 форматов лог-файлов — журналы баз данных, Enterprise Manager, FMW, веб-серверов, кластерного программного обеспечения, операционных систем Linux, планировщиков и т. д. Для поддержки нестандартного журнального файла нужно написать простейший парсер, основанный на языке регулярных выражений
Используя машинные алгоритмы анализа, сервис Log Analytics может из тысяч рядовых сообщений, накопившихся в ваших журнальных файлах, например, за последние сутки, выявить несколько ценных сообщений об ошибке — те самые ошибки, которые, возможно и являются первопричиной инцидента. После обнаружения проблемы появляется меню «Show 1 Minute context» — т. е. отображение контекста системы за минуту до сообщения об ошибке и спустя минуту после него.
Вся инфраструктура сервиса Log Analytics находится в Публичном Облаке. Для пользователя предоставляется удобный Web-интерфейс, стандартные информационные панели, визуализирующие ключевые события, зафиксированные в журнальных файлах через диаграммы различного типа, а также можно создавать виджеты — собственные информационные панели.
Log Analytics собирает данные из лог-файлов в режиме реального времени, индексирует и хранит в Публичном Облаке на высокопроизводительной Big Data–платформе, что позволяет эффективно работать с огромными объемами журнальных данных, выполнять сортировку, поиск, группирование, машинный анализ.
Наконец, Log Analytics прекрасно интегрируется с Application Performance Monitoring. Кнопка «Drilldown to Log” позволяет «провалиться» с уровня кода на уровень конкретного, связанного элемента инфраструктуры.
Бизнесу необходимы инструменты для понимания функционирования текущего ИТ-ландшафта, планирования мощностей, выявления проблемных участков и т. д. Существующие системы этих задач не решают, т. к. они фокусируются на отдельных компонентах ИТ-ландшафта, таких как база данных или промежуточное ПО, и не позволяют установить, как системы функционируют в масштабе ЦОДа — за некий период времени, в разрезе приложений, систем центров затрат и т. д.
Поэтому еще одной важной частью набора сервисов Oracle Management Cloud является сервис IT Analytics (Рисунок 5). Область его применения — анализ текущего ИТ-ландшафта. Задачи, которые он выполняет: анализ использования ресурсов, распознавание систематических проблем производительности и планирование ресурсов. Цели анализа ИТ-ресурсов — выявление проблемных участков, сравнение нагрузок по различным периодам, выявление максимального потребления ресурсов по различным измерениям, оптимизация ресурсов и планирование роста через предсказание нагрузки.
Сервис позволяет выполнять также анализ производительности по различным критериям, таким как процессные ресурсы, ввод-вывод, память, объемы хранения данных, производительность промежуточного ПО, производительность Garbage Collector. Возможности визуализации данных позволяют упростить поиск по различным критериям, визуализировать KPI по ключевым компонентам для анализа текущего использования и трендов, а также использовать информационные панели. Например: Показать график суммарного использования CPU по бизнес-критичным БД версии 12.1.0.2 за последние 3 месяца.
Результат использования упомянутых возможностей для бизнеса — проактивный подход к мониторингу и планированию (улучшение использования ресурсов через выявление недостаточно или избыточно нагруженных узлов), снижение операционных расходов (затрат на анализ и выявление проблем) и помощь в трансформации ИТ (переход к проактивному подходу и стратегическому планированию).
* * *
Еще раз подчеркнем, что как Oracle Enterprise Manager не является заменой Oracle Management Cloud, так и Oracle Management Cloud никоим образом не является заменой Enterprise Manager. Сервисы Oracle Management Cloud и ваш, локально установленный Enterprise Manager работают совместно. Консолидация и визуализация данных из репозитория Enterprise Manager и различных метрик, собираемых агентами Oracle Management Cloud дает очень интересные возможности — проактивный подход к решению проблем, своевременный, бизнес-ориентированный мониторинг, улучшение взаимодействия разработчиков и службы эксплуатации (DevOps).
Oracle Management Cloud – набор сервисов в Публичном Облаке, предлагаемых по подписке, это значит, что заказчику нет необходимости дополнительно инвестировать и поддерживать дорогостоящую, сложную инфраструктуру для инструментов мониторинга. Все, что требуется: установить агентов и настроить передачу данных в Облако. Необходимо подчеркнуть, что сервисы Oracle Management Cloud не собирают и не передают в Облако бизнес-данные или персональные данные из БД! Собирается и анализируется только диагностическая информация, метрики, журнальные данные, которые при необходимости можно «замаскировать» перед отправкой в Облако.
Oracle Management Cloud активно развивается, помимо описанных в этой статье сервисов Application Performance Monitoring, Log Analytics и IT Analytics будут появляться новые сервисы. А главное — различные команды ИТ-службы, такие как разработчики и служба эксплуатации, смогут найти общий язык и работать эффективно!
Новые облачные сервисы Oracle для ИТ-мониторинга обеспечивают эффективный мониторинг производительности бизнес-приложений в реальном масштабе времени и позволяют ответить на ряд вопросов: насколько быстро открываются веб-страницы, какие возникают ошибки, какова их причина. Платформа мониторинга, также, позволяет эффективно находить причины различных проблем через анализ лог-файлов и обеспечить планирование ресурсов ИТ-ландшафта: измерять загрузку баз данных и серверов приложений, оценивать и прогнозировать реальное использование ресурсов CPU, I/O, памяти.
В январе 2016 г. компания Oracle представила группу новых сервисов под общим названием Management Cloud, в числе которых Application Performance Monitoring, Log Analytics и IT Analytics. В первую очередь они предназначены для службы эксплуатации ИТ-инфраструктуры, администраторов приложений, ИТ-архитекторов, руководителей ИТ-подразделений. Разумеется, у пользователей возникает вопрос: а как же наш Enterprise Manager — единая платформа для мониторинга и управления ИТ-инфраструктурой? Дело в том, что Enterprise Manager, безусловно, очень мощная система, незаменимый помощник в мониторинге отдельных компонентов, таких как база данных, сервер, программно-аппаратный комплекс и т.д. Но когда речь идет о том, чтобы локализовать проблему, найти ее в бизнес-приложении, состоящем из множества компонентов, из множества баз данных, из множества серверов приложений, которые установлены на разных физических и виртуальных серверах, — нужны специализированные инструменты. Кстати, важно понимать, что инструменты Oracle Management Cloud работают в Публичном Облаке Oracle, но в тесной интеграции с локальным Enterprise Manager.
Ключевые возможности инструментов Oracle Management Cloud: мониторинг веб-приложений на уровне конечных пользователей и компонентов инфраструктуры, помощь в планировании мощностей и ресурсов для ИТ-организации, анализ метрик и событий, агрегирование данных журналов, автоматизированное выявление аномалий и первопричин инцидентов. Исходными данными для инструментов мониторинга являются лог-файлы, данные, порождаемые пользователями, машинные данные, трассировочные файлы, метрики производительности, диагностические данные из репозитория EM, трассировочные данные, журналы аудита и т. д. (Рисунок 1).
Важным источником данных для Oracle Management Cloud являются данные репозитория Enterprise Manager (Рисунок 2).
Application Performance Monitoring (APM)
Сервис Application Performance Monitoring (Рисунок 3) предназначен для мониторинга веб-приложений, построенных на платформе Oracle WebLogic или Apache Tomcat. Задачи APM — «профилирование» веб-приложения на различных уровнях: от конечного пользователя до инфраструктуры, помощь в поиске первопричин инцидентов, предоставление единого интерфейса для службы эксплуатации и разработчиков и, конечно, проактивный мониторинг опыта конечных пользователей; сервис Application Performance Monitoring позволяет определить опыт взаимодействия конечного пользователя с вашим веб-приложением. При этом APM позволяет производить контекстный нисходящий анализ производительности приложения от уровня пользователя, визуализировать взаимодействие модулей приложения и, если нужно, переключаться на «нижний» уровень, чтобы анализировать возможные связанные проблемы инфраструктуры.
Служба эксплуатации и разработчики имеют в лице Application Performance Monitoring единый источник информации для реальной диагностики производительности вплоть до уровня кода и SQL-запросов. Разработчики получают доступ к ценным диагностическим данным и работают совместно со службой эксплуатации — они дополняют друг друга, это обеспечивает быстрое устранение проблем, повышается качество сопровождения (DevOps).
Сервис Application Performance Monitoring основан на методе инструментирования кода (похожая технология используется, например, в СУБД Oracle). Специальные агенты инструментируют код приложения и веб-страниц, измеряя производительность и передавая метрики в публичное облако через прокси-сервер в безопасном режиме.
Log Analytics
Инструмент Log Analytics (Рисунок 4) может работать в связке с Application Performance Monitoring. Именно этот сервис непосредственно работает с журнальными файлами — он занимается поиском, сбором, хранением данных из журналов, анализом и исследованием информации в журналах и визуализацией.
Достоинство инструмента Log Analytics заключается в том, что он не зависит ни от компонентов инфраструктуры, ни от форматов журнальных файлов. Сервис «из коробки» поддерживает около 30 форматов лог-файлов — журналы баз данных, Enterprise Manager, FMW, веб-серверов, кластерного программного обеспечения, операционных систем Linux, планировщиков и т. д. Для поддержки нестандартного журнального файла нужно написать простейший парсер, основанный на языке регулярных выражений
Используя машинные алгоритмы анализа, сервис Log Analytics может из тысяч рядовых сообщений, накопившихся в ваших журнальных файлах, например, за последние сутки, выявить несколько ценных сообщений об ошибке — те самые ошибки, которые, возможно и являются первопричиной инцидента. После обнаружения проблемы появляется меню «Show 1 Minute context» — т. е. отображение контекста системы за минуту до сообщения об ошибке и спустя минуту после него.
Вся инфраструктура сервиса Log Analytics находится в Публичном Облаке. Для пользователя предоставляется удобный Web-интерфейс, стандартные информационные панели, визуализирующие ключевые события, зафиксированные в журнальных файлах через диаграммы различного типа, а также можно создавать виджеты — собственные информационные панели.
Log Analytics собирает данные из лог-файлов в режиме реального времени, индексирует и хранит в Публичном Облаке на высокопроизводительной Big Data–платформе, что позволяет эффективно работать с огромными объемами журнальных данных, выполнять сортировку, поиск, группирование, машинный анализ.
Наконец, Log Analytics прекрасно интегрируется с Application Performance Monitoring. Кнопка «Drilldown to Log” позволяет «провалиться» с уровня кода на уровень конкретного, связанного элемента инфраструктуры.
IT Analytics
Бизнесу необходимы инструменты для понимания функционирования текущего ИТ-ландшафта, планирования мощностей, выявления проблемных участков и т. д. Существующие системы этих задач не решают, т. к. они фокусируются на отдельных компонентах ИТ-ландшафта, таких как база данных или промежуточное ПО, и не позволяют установить, как системы функционируют в масштабе ЦОДа — за некий период времени, в разрезе приложений, систем центров затрат и т. д.
Поэтому еще одной важной частью набора сервисов Oracle Management Cloud является сервис IT Analytics (Рисунок 5). Область его применения — анализ текущего ИТ-ландшафта. Задачи, которые он выполняет: анализ использования ресурсов, распознавание систематических проблем производительности и планирование ресурсов. Цели анализа ИТ-ресурсов — выявление проблемных участков, сравнение нагрузок по различным периодам, выявление максимального потребления ресурсов по различным измерениям, оптимизация ресурсов и планирование роста через предсказание нагрузки.
Сервис позволяет выполнять также анализ производительности по различным критериям, таким как процессные ресурсы, ввод-вывод, память, объемы хранения данных, производительность промежуточного ПО, производительность Garbage Collector. Возможности визуализации данных позволяют упростить поиск по различным критериям, визуализировать KPI по ключевым компонентам для анализа текущего использования и трендов, а также использовать информационные панели. Например: Показать график суммарного использования CPU по бизнес-критичным БД версии 12.1.0.2 за последние 3 месяца.
Результат использования упомянутых возможностей для бизнеса — проактивный подход к мониторингу и планированию (улучшение использования ресурсов через выявление недостаточно или избыточно нагруженных узлов), снижение операционных расходов (затрат на анализ и выявление проблем) и помощь в трансформации ИТ (переход к проактивному подходу и стратегическому планированию).
* * *
Еще раз подчеркнем, что как Oracle Enterprise Manager не является заменой Oracle Management Cloud, так и Oracle Management Cloud никоим образом не является заменой Enterprise Manager. Сервисы Oracle Management Cloud и ваш, локально установленный Enterprise Manager работают совместно. Консолидация и визуализация данных из репозитория Enterprise Manager и различных метрик, собираемых агентами Oracle Management Cloud дает очень интересные возможности — проактивный подход к решению проблем, своевременный, бизнес-ориентированный мониторинг, улучшение взаимодействия разработчиков и службы эксплуатации (DevOps).
Oracle Management Cloud – набор сервисов в Публичном Облаке, предлагаемых по подписке, это значит, что заказчику нет необходимости дополнительно инвестировать и поддерживать дорогостоящую, сложную инфраструктуру для инструментов мониторинга. Все, что требуется: установить агентов и настроить передачу данных в Облако. Необходимо подчеркнуть, что сервисы Oracle Management Cloud не собирают и не передают в Облако бизнес-данные или персональные данные из БД! Собирается и анализируется только диагностическая информация, метрики, журнальные данные, которые при необходимости можно «замаскировать» перед отправкой в Облако.
Oracle Management Cloud активно развивается, помимо описанных в этой статье сервисов Application Performance Monitoring, Log Analytics и IT Analytics будут появляться новые сервисы. А главное — различные команды ИТ-службы, такие как разработчики и служба эксплуатации, смогут найти общий язык и работать эффективно!