Comments 5
MySQL это конечно хорошо, но в 2018 году для сбора логов переходят на NoSQL-хранилища, например elasticsearch.
По началу связка ELK кажется слишком сложной для такой простой задачи, как просто собрать логи в одну базу, но после того, как результат из elasticsearch появляется через несколько секунд, а не минут из mysql, приходит понимание, зачем все это нужно было.
Еще попробуйте logstash, у него есть встроенный плагин для syslog
далее парсер Grok filter plugin
и вставка в базу через logstash-output-jdbc
По началу связка ELK кажется слишком сложной для такой простой задачи, как просто собрать логи в одну базу, но после того, как результат из elasticsearch появляется через несколько секунд, а не минут из mysql, приходит понимание, зачем все это нужно было.
ссылки
habr.com/post/277029
Не нашел сразу более новой инструкции, чем эта www.elastic.co/blog/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubuntu-14-04
сейчас нужно ставить 6 версии, и этап с конвертаций в JSON не нужен
www.itzgeek.com/how-tos/linux/ubuntu-how-tos/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-18-04-ubuntu-16-04.html
Не нашел сразу более новой инструкции, чем эта www.elastic.co/blog/how-to-centralize-logs-with-rsyslog-logstash-and-elasticsearch-on-ubuntu-14-04
сейчас нужно ставить 6 версии, и этап с конвертаций в JSON не нужен
www.itzgeek.com/how-tos/linux/ubuntu-how-tos/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-18-04-ubuntu-16-04.html
Еще попробуйте logstash, у него есть встроенный плагин для syslog
далее парсер Grok filter plugin
и вставка в базу через logstash-output-jdbc
Я бы рассмотрел все-таки graylog как более законченное решение, чем elasticsearch (да, у грейлога под капотом те же эластик и монга — но что поделать )
Sign up to leave a comment.
Собираем логи фаервола Mikrotik в базу данных