Как мы работаем с логами (сбор логов с сервера, возможность визуализации данных при помощи Graylog)

[osscombat]

nginx может выводить лог сразу в JSON

[s_batalov]

Добрый день!
Все верно, может.
Но в данном случае рассмотрели кейс именно в таком формате, с целью показать как работать с grok patterns. Так как не у всех сервисов есть такие возможности.

[phikus]

Спасибо автору, как человек, много работавший с логами Nginx в Graylog, скажу, что это очень очень хороший гайд, который мог бы мне сэкономить кучу времени много лет назад. Так что смело можно её рекомендовать для старта.

И когда-то у меня действительно на руках была версия Nginx без поддержки JSON логов.

Сейчас я бы всё-таки использовал логи Nginx в JSON формате + разбор JSON на filebeat.

Разбор логов на самом Graylog это большой риск и геморрой, малейшая ошибка в регулярке на больших нагрузках приводит к необходимости отладки и профилирования, журнал растёт, работа стоит, надо рестартовать процесс и тд. и тп.

(Справедливости ради скажу, что у меня был гораздо более сложный формат и порядка 15K messages per second)

Даже на простейшем примере GROK шаблона в статье виден малоизвестный неочевидный нюанс: уточнение использованной регулярки до ^pattern$ улучшает её производительность вдвое

[s_batalov]

Добрый день!
Благодарю за внимание к статье!

А что касается использования Nginx в JSON формате + разбор JSON на filebeat — хорошее решение, но мы на своих виртуальных серверах используем битикс-окружение, с чем и связан выбранные нами формат.

[kendepp]

Хорошая утилита грейлог...была. в сожалению все больше фич переводят в платную версию. Например, поддержку групп ldap. При этом 3я версия как то быстро стала EOL