Мониторинг для бедных или SAR + MySQL + Gnuplot

[Roxis]

Munin вполне легковесный

[Archymind]

Спасибо, интересно, посмотрю на досуге.

[thunderspb]

CollectD тоже можете посмотреть.

Мунин — зависит от использования, если не много сервисов и серверов мониторить, то норм, но чем больше мониторишь тем больше пожирается IO диска, ибо оно генерит статичные html файлы по крону…

[Archymind]

Спасибо, посмотрю. В принципе все проекты, основанные на rrdtool довольно интересные. :)

[Self_Perfection]

C настройками по-умолчанию munin ежепятиминутно генерирует статические html страницы и png с графиками, причём генерация графиков жрёт заметно больше IO, чем генерация html.

Но можно включить graph_strategy cgi и html_strategy cgi, тогда графики и страницы будут генерироваться на лету on-demand cgi скриптом.
С тех пор как я на это перешёл заметные ежепятиминутные подтупливания пропали.

html_strategy cgi несколько подглючивает с генерированием урлов на другие страницы, закостылил реврайтом

[AgaFonOff]

Собираем данные с десятка серверов, не огромное число, конечно, но данных и графиков много, тем не менее сам мунин висит совсем отдельно от боевых серверов и никому не мешает.
Для нагруженного сайта давным давно я делал генерацию картинок раз в час, а сбор также — раз в 5 минут, вообще хорошо было.

[larrabee]

atop тоже отлично пишет статистику потребления ресурсов, по дефолту так-же как sar снимает метрики системы раз в 10 мин. Может писать постоянно.

[Archymind]

Да, atop тоже хорош, выбор в сторону SAR пал из-за утилиты sadf, которая сразу форматирует вывод в нужном формате.

[catanfa]

newrelic чуть меньше нуля ресурсов сервера отнимает, на бесплатном тарифе можно смотреть за 24 часа.

[WST]

Не сразу ссобразил, почему использование памяти на графике показано в вольтах (это сарказм, если что) :)

[Archymind]

Как я писал в начале статьи, есть много различных систем мониторинга, но все они сами потребляют ресурсы. Но конечно это еще не все, есть другие разные причины, почему не подходит тот или иной инструмент. Например, сервера в закрытой корпоративной сети, которые не имеют выхода в интернет, все что у них есть — локальный репозиторий. А sysstat и gnuplot есть почти в каждом дистрибутиве. И они хорошо справляются со своей ролью. :)

[Archymind]

У вас тут целая БД ставится на хосте ради целей мониторинга, если что.

Нет, MySQL не ставится ради мониторинга, если Вы внимательно прочитали статью, то MySQL уже была, для других целей.

И тогда возникают вопросы: как скидывать статистику? куда ее сохранять, учитывая, что набор хостов и метрик постоянно меняется?

Это вполне решается, нужно лишь немного поправить скрипт. Мы можем сохранять репорты в БД, находящуюся на другом хосте. А чтобы знать, с какого хоста статистика, нам понадобится первый столбец из вывода sadf. Об этом я тоже упомянул в статье.

Но я с Вами согласен, для более сложного мониторинга могут потребоваться другие инструменты. Например, мы активно используем Zabbix и rrdtool.

Не понял, что вы имеете в виду.

Извините, возможно я некорректно выразился. В большинстве крупных компаний, серверам закрывают доступ в интернет. Например, бекенду в большинстве случаев доступ в интернет ни к чему. Встает вопрос, как обновлять сервера? Для это создают зеркала репозириев, например в нашей компании есть зеркало репозиториев SLES, с которого обновляются все сервера. И порой бывает довольно трудно убедить админов поставить что-то «левое», не содержащееся в репозитории.

Целью статьи было показать, как можно осуществлять мониторинг посредством подручных средств.

[TaHKucT]

И порой бывает довольно трудно убедить админов поставить что-то «левое», не содержащееся в репозитории.

Ставим новую задачу «Добавить в репы XYZ», ставим ее блокером к своей «Сделать мониторинг для бедных», идем пить кофе.

[prefrontalCortex]

Графики Gnuplot строит, безусловно, милые, но, если мне не изменяет память, при установке на без-иксовый дебиан он за собой тащит половину иксов — пакеты с шрифтами, либы типа freetype и всякое такое.

[TaHKucT]

ubuntu 14.04 без иксов:

# aptitude install gnuplot
The following NEW packages will be installed:
  aglfn{a} fonts-liberation{a} gnuplot gnuplot-nox{a} groff{a} imagemagick{a} imagemagick-common{a} libdjvulibre-text{a} libdjvulibre21{a} libfftw3-double3{a} libilmbase6{a} 
  liblqr-1-0{a} liblua5.1-0{a} libmagickcore5{a} libmagickcore5-extra{a} libmagickwand5{a} libnetpbm10{a} libopenexr6{a} librsvg2-2{a} librsvg2-common{a} libwmf0.2-7{a} netpbm{a} 
  psutils{a} 
0 packages upgraded, 23 newly installed, 0 to remove and 0 not upgraded.
Need to get 10.7 MB of archives. After unpacking 34.8 MB will be used.
Do you want to continue? [Y/n/?] 

[prefrontalCortex]

А, починили уже. Дело давно было, в squeeze вроде.

[justabaka]

А почему не rrdtool? Это же и БД, и графики красивые, и костылей в два раза меньше. Я как-то делал похожую наколенную систему, оно туда очень органично вписалось.

[dsx]

А в rrdtool можно писать нерегулярно?

[justabaka]

По идее, да, просто будут пропуски на графиках.

[zzmaster]

Есть облачное решение ifube.com. Основное предназначение — контроль целостности файлов, но есть и системный монитор, который фиксирует вывод комманд uptime, vmstat. Устанавливается размещением одного файла. Не спорю, сервис сыроват, но работает, и все еще бесплатен.