Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Сбор и анализ логов с Fluentd

Selectel
fluentd

Любому системному администратору в своей повседневной деятельности приходится иметь дело со сбором и анализом логов. Собранные логи нужно хранить — они могут понадобиться для самых разных целей: для отладки программ, для разбора инцидентов, в качестве подспорья для службы техподдержки и т.п. Кроме того, необходимо обеспечить возможность поиска по всему массиву данных.
Читать дальше →
Всего голосов 25: ↑22 и ↓3 +19
Просмотры56K
Комментарии 8

Представляем loghouse — Open Source-систему для работы с логами в Kubernetes

ФлантOpen sourceIT-инфраструктураDevOpsKubernetes


Обслуживая множество инсталляций Kubernetes в проектах разного масштаба, мы столкнулись с проблемой сбора и просмотра логов со всех контейнеров кластера. Изучив имеющиеся решения, пришли к необходимости создания нового — разумного в потреблении ресурсов и дискового пространства, а также предлагающего удобный интерфейс для просмотра логов в реальном времени с возможностью их фильтрации по нужным критериям.

Так родился проект loghouse, и я рад представить его альфа-версию DevOps-инженерам и системным администраторам, которым знакомы обозначенные проблемы.
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Просмотры18.3K
Комментарии 47

Четыре релиза 1.0 от CNCF и главные анонсы про Kubernetes с KubeCon 2017

ФлантОблачные вычисленияКонференцииDevOpsKubernetes


В эти дни (6-8 декабря) в США проходит местная версия конференций KubeCon + CloudNativeCon 2017, в фокусе внимания которой многочисленные проекты некоммерческой организации CNCF во главе с Kubernetes. Мероприятие собрало более 4100 посетителей, 77 % из которых используют K8s, причём в 75 % случаев речь идёт про production. Событие оказалось не только богатым на анонсы от различных стартапов и гигантов индустрии, но и стало поводом для подведения итогов Open Source-сообщества из мира cloud native — достаточно заметить, что в декабре сразу у четырёх проектов CNCF состоялся знаковый релиз 1.0. Так что новенького?
Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры3.8K
Комментарии 9

На что обратить внимание при выборе системы логирования, и почему мы остановились на ELK

1cloud.ruIT-инфраструктураСерверное администрированиеРазработка под e-commerceУправление разработкой
На рынке представлено огромное количество систем логирования — как открытых, так и проприетарных. У каждой из них своя функциональность, свои достоинства и недостатки.

Сегодня мы решили поделиться опытом выбора системы логирования и рассказать, почему мы в 1cloud остановились на ELK.

Читать дальше →
Всего голосов 32: ↑32 и ↓0 +32
Просмотры20.2K
Комментарии 15

Настройка НА-кластера Kubernetes на «голом железе», мониторинг, логи и примеры использования. Часть 3/3

SouthbridgeСистемное администрированиеСерверное администрированиеDevOps
Перевод


Часть 1/3 тут.


Часть 2/3 тут.


Всем привет! А вот и третья часть руководства «Kubernetes на «голом железе»! Я уделю внимание мониторингу кластера и сбору логов, также мы запустим тестовое приложение для использования предварительно настроенных компонентов кластера. Затем проведем несколько стресс-тестов и проверим стабильность этой кластерной схемы.

Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры12K
Комментарии 7

Наш опыт создания API Gateway

True Engineering.NETNginxAPI
Некоторые компании, в том числе наш заказчик, развивают продукт через партнерскую сеть. Например, крупные интернет-магазины интегрированы со службой доставки — вы заказываете товар и вскоре получаете трекинговый номер посылки. Другой пример — вместе с авиабилетом вы покупаете страховку или билет на аэроэкспресс.

Для этого используется один API, который нужно выдать партнерам через API Gateway. Эту задачу мы и решили. В этой статье расскажем подробности.

Дано: экосистема и API-портал с интерфейсом, где пользователи зарегистрированы, получают информацию и т.п. Нам нужно сделать удобный и надежный API Gateway. В процессе нам нужно было обеспечить

  • регистрацию,
  • контроль подключения к API,
  • мониторинг того, как пользователи используют конечную систему,
  • учёт бизнес-показателей.



В статье мы расскажем о нашем опыте создания API Gateway, в ходе которого мы решали следующие задачи:

  • аутентификация пользователя,
  • авторизация пользователя,
  • модификация исходного запроса,
  • проксирование запроса,
  • постобработка ответа.

Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Просмотры13.5K
Комментарии 3

Логи в Kubernetes (и не только) сегодня: ожидания и реальность

ФлантСистемное администрированиеIT-инфраструктураDevOpsKubernetes


Шёл 2019 год, а у нас всё ещё нет стандартного решения для агрегации логов в Kubernetes. В этой статье мы хотели бы, используя примеры из реальной практики, поделиться своими поисками, встречаемыми проблемами и их решениями.

Однако для начала оговорюсь, что разные заказчики под сбором логов понимают очень разное:

  • кто-то хочет видеть security- и audit-логи;
  • кто-то — централизованное логирование всей инфраструктуры;
  • а кому-то достаточно собирать только логи приложения, исключив, например, балансировщики.

О том, как мы реализовывали различные «хотелки» и с какими трудностями столкнулись, — под катом.
Читать дальше →
Всего голосов 39: ↑39 и ↓0 +39
Просмотры17.3K
Комментарии 26

Loghouse 0.3 — долгожданное обновление нашей системы работы с логами в Kubernetes

ФлантOpen sourceСистемное администрированиеDevOpsKubernetes
У компании «Флант» есть ряд Open Source-разработок, преимущественно для Kubernetes, и loghouse — одна из самых популярных. Это наш инструмент для централизованного логирования в K8s, который был представлен более 2 лет назад.



Как мы упоминали в недавней статье про логи, он требовал доработки, и актуальность её со временем только росла. Сегодня мы рады представить новую версию loghouse — v0.3.0. Подробности о ней — под катом.
Читать дальше →
Всего голосов 50: ↑49 и ↓1 +48
Просмотры5.5K
Комментарии 26

Fluentd: почему важно настроить выходной буфер

NixysСистемное администрированиеСерверное администрированиеDevOpsKubernetes


В наше время невозможно представить проект на базе Kubernetes без стека ELK, с помощью которого сохраняются логи как приложений, так и системных компонентов кластера. В своей практике мы используем стек EFK с Fluentd вместо Logstash.


Fluentd — это современный универсальный коллектор логов, набирающий всё большую популярность и присоединившийся к Cloud Native Computing Foundation, из-за чего вектор его разработки ориентирован на использование совместно с Kubernetes.


Факт использования Fluentd вместо Logstash не изменяет общую суть программного комплекса, однако, для Fluentd характерны свои специфические нюансы, следующие из его многофункциональности.


Например, начав использовать EFK в нагруженном проекте с высокой интенсивностью записи логов, мы столкнулись с тем, что в Kibana некоторые сообщения отображаются повторно по несколько раз. В данной статье мы расскажем вам, по какой причине происходит данное явление и как решить проблему.

Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Просмотры5.6K
Комментарии 0

Цена tailing'а логов в Kubernetes

ФлантСистемное администрированиеDevOpsKubernetes
Перевод
Прим. перев.: эту статью написал старший DevOps-инженер американской компании Olark, главный продукт которой — live chat — используют тысячи организаций. Автор делится размышлениями о проблеме потребляемых ресуров при сборе логов и результатами своего эксперимента с fluentd, что позволил ему добиться лучшей производительности для некоторых сценариев.



Журналирование – одна из тех вещей, о которых вспоминают только тогда, когда они ломаются. И это вовсе не критика. Дело в том, что логи как таковые не приносят денег. Они позволяют получать представление о том, что делают (или делали) программы, помогая поддерживать работу того, что приносит нам деньги. На малых масштабах (или при разработке) необходимую информацию можно получить, просто выводя сообщения в stdout. Но стоит перейти к распределенной системе, и сразу возникает потребность агрегировать эти сообщения и направлять в некое центральное хранилище, где они принесут наибольшую пользу. Это потребность еще более актуальна, если вы имеете дело с контейнерами на платформе вроде Kubernetes, где процессы и локальное хранилище эфемерны.
Читать дальше →
Всего голосов 28: ↑28 и ↓0 +28
Просмотры4.7K
Комментарии 9

Как лицензируется и чем отличаются лицензии Elastic Stack (Elasticsearch)

Gals SoftwareIT-инфраструктураNoSQLBig DataСофт
В этой статье расскажем как лицензируется Elastic Stack, какие бывают лицензии, что туда входит (ключевые возможности), немножечко сравним Elastic с OpenDistro от AWS и другими известными дистрибутивами.


Читать дальше →
Всего голосов 20: ↑18 и ↓2 +16
Просмотры4.9K
Комментарии 2