Production-ready images for k8s

[maxim_ge]

. Всё помечается тегами: namespace, под и так далее, а затем конвертируется в формат Prometheus – и становится доступно для сбора (кроме логов). Также, логи, метрики и события мы отправляем в Kafka и далее

А можно полюбопытствовать — каким образом обеспечивается(если обеспечивается) HA режим для prometheus? Как-то так или иначе?

[tsvtitan]

В нашей практике мы стараемся использовать Prometheus в минимальной конфигурации без HA режима. Защита от потери данных закрывается Kafka.

[maxim_ge]

Благодарю, тоже склоняюсь к схожему решению.

[tsvtitan]

Kafka как проводник — хранит в себе, пока с нее не заберут. На одном из скринов видно что под стораджем может быть Clickhouse или VictoriaMetrics.

[qwertyRu]

Логи доступны в Graylog (для визуального анализа);
Логи, метрики, события отправляются в Clickhouse для долгосрочного хранения.

как разделяете логи, какие в Graylog а какие в Clickhouse?

[tsvtitan]

Разделение происходит на уровне Kafka. Для нее существует consumer, который решает куда дальше поставлять логи и в каком формате. По умолчанию, данные перенаправляются обратно в другие топики Kafka. Из которых уже встроенными средствами, Graylog или Clickhouse забирают данные.

[qwertyRu]

техническая сторона не вызывает вопросов.
Вопрос в логике, какие именно логи идут в Graylog а какие Clickhouse.
Например debug, info логи приложения, идут и в Graylog и Clickhouse?

[tsvtitan]

Сейчас деления нет. Отличие только по retention (время хранения). Clickhouse — долгосрок, Graylog — краткосрок.

[qwertyRu]

и для поиска по clickhouse используете что то вроде tabix?

[tsvtitan]

Поиск по клику делается редко. В ход идут: CLI, Tabix, Superset — кому что удобно.

[VladZn]

У слова образ мн.ч. — образы, образа является множественным числом только в значении иконы.

[tsvtitan]

Спасибо, заменили!