Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Продвинутые абстракции Kubernetes: Job, CronJob

Блог компании SouthbridgeСистемное администрированиеСерверное администрированиеDevOpsKubernetes


Что такое Job и CronJob в Kubernetes, для чего они нужны, а для чего их использовать не стоит.
Эта статья — выжимка из лекции вечерней школы «Слёрм Kubernetes».

Читать дальше →
Всего голосов 21: ↑21 и ↓0 +21
Просмотры6.6K
Комментарии 5

Когда Cron подводит

Блог компании Туту.руАнализ и проектирование системIT-инфраструктура

Привет!

У нас есть огромные ночные отчёты по продуктовым метрикам, которые с утра попадают их владельцам. Пару лет назад они собирались обычным Cron'ом, но это оказалось очень нестабильной историей. Cron требует учёта определенных нюансов и дисциплины: если отчёт не собрался, то нужно перезапустить скрипт. А не собраться он может по многим причинам: одна из MySQL-баз не ответила, или не ответил опрашиваемый сервис, или сервер, на котором работает Cron, ночью перезагружался или вышел из строя. В большинстве своём такие отчеты создавались аналитиками, которые обычно всего этого не учитывали. Потому что они аналитики и это не их задача. Поэтому мы начали искать варианты, которые упростят жизнь всем.

И нашли.

В финальном решении используется планировщик Airflow с его возможностью взаимодействия с кластером Kubernetes. Система получилась гибкая и надежная и упрощает жизнь конечным потребителям. Для разработки таких систем есть мы, техническая команда из четырёх человек, называемая Data Team, а конечные потребители – аналитики, продакт-менеджеры и техлиды.

Читать далее
Всего голосов 23: ↑23 и ↓0 +23
Просмотры5.9K
Комментарии 10

Job’ы и Cronjob’ы Kubernetes

Блог компании OTUSDevOpsKubernetes
Перевод

  

CronJob’ы полезны для создания периодических и повторяющихся задач, таких как создание бэкапов или отправка электронных писем. CronJob’ы также могут планировать отдельные Job’ы (задачи, задания - здесь и далее используется английский термин, чтобы избежать путаницы) на конкретное время, например, запланировать Job на то время, когда ваш кластер, скорее всего, будет простаивать. Job’ы Kubernetes в первую очередь предназначены для краткосрочных и пакетных рабочих нагрузок (workloads).

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Просмотры2.3K
Комментарии 4

Kubernetes 1.21 — неожиданно много изменений…

Блог компании SouthbridgeСистемное администрирование*nixDevOpsKubernetes

Новая эмблема символизирует распределение членов команды выпуска релиза по земному шару  — от UTC-8 до UTC+8 (похоже, ни японцев, ни корейцев в команде нет). Эмблему нарисовал Aravind Sekar, независимый дизайнер из Индии. На мой взгляд, котики были круче.

Но давайте перейдем к чтению changelog и особенно моему любимому разделу Urgent Upgrade Notes.

Читать дальше
Всего голосов 33: ↑33 и ↓0 +33
Просмотры7.2K
Комментарии 10

Проблемы мониторинга дата-пайплайнов и как я их решал

Системное администрированиеАнализ и проектирование системData MiningDevOpsData Engineering

Мониторинг - сложная, но необходимая часть разработки, она становится вдвойне сложней, когда мониторить надо не просто технические вещи, а их фактический смысл для бизнеса.

Данные, собранные и трансформированные в дата-пайплайнах очень часто поступают сразу к аналитикам и к другим людям, принимающим бизнес-решения, так что мониторинг таких вещей должен быть удобен не только инженерам, но и для других людей, которым важно знать, можно ли доверять данным и есть ли какие-то проблемы с их обработкой.

О том, какие проблемы со сбором и обработкой данных бывают, как избежать ложных алертов и как я делал мониторинг на основе событий максимально понятным и прозрачным для бизнеса, я и приглашаю почитать в этой статье.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры1.4K
Комментарии 4