Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Знакомство с Debezium — CDC для Apache Kafka

ФлантМессенджерыСистемное администрированиеАдминистрирование баз данных


В своей работе я часто сталкиваюсь с новыми техническими решениями/программными продуктами, информации о которых в русскоязычном интернете довольно мало. Этой статьей постараюсь восполнить один такой пробел примером из своей недавней практики, когда потребовалось настроить отправку CDC-событий из двух популярных СУБД (PostgreSQL и MongoDB) в кластер Kafka при помощи Debezium. Надеюсь, эта обзорная статья, появившаяся по итогам проделанной работы, окажется полезной и другим.

Что за Debezium и вообще CDC?


Debezium — представитель категории программного обеспечения CDC (Capture Data Change), а если точнее — это набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.
Читать дальше →
Всего голосов 52: ↑52 и ↓0 +52
Просмотры10.9K
Комментарии 1

4 книги по цифровой трансформации для тимлидов, шпаргалка по Quarkus & Observability…

Red HatOpen sourceВиртуализацияЧитальный залOpenshift


Мы собрали для вас короткий дайджест полезных материалов, найденных нами в сети за последние две недели. Оставайтесь с нами – станьте частью DevNation!
Читать дальше →
Рейтинг 0
Просмотры1.5K
Комментарии 0

Как синхронизировать сотни таблиц базы в Kafka, не написав ни одного продюсера

Mail.ru GroupDelivery Club TechВысокая производительностьАдминистрирование баз данныхApache


Привет, Хабр! Меня зовут Сергей Бевзенко, я ведущий разработчик Delivery Club в команде Discovery. Наша команда занимается навигацией пользователя по приложению Delivery Club: мы отвечаем за основную выдачу ресторанов, поиск и всё, что с этим связано.

Я расскажу про Kafka Connect: что это такое, какова общая концепция и как работать с этим фреймворком. Это будет полезно тем, кто использует Kafka, но не знаком с Kafka Connect. Если у вас огромный монолит и вы хотите перейти на событийную модель, но сталкиваетесь со сложностью написания продюсеров, то вы тоже найдёте здесь ответы на свои вопросы. В комментариях можем сравнить ваш опыт использования Kafka Connect с нашим и обсудить любые вопросы, которые с этим связаны.
Читать дальше →
Всего голосов 31: ↑31 и ↓0 +31
Просмотры8K
Комментарии 10

Edge-сервера, терминальные сеансы с помощью Linux-команды script и 5 подходов к облачной автоматизации

Red HatOpen source*nixВиртуализацияКарьера в IT-индустрии

(enterprisersproject.com)

Мы собрали для вас дайджест полезных материалов, найденных нами в сети за последние две недели. Оставайтесь с нами – станьте частью DevNation!

Читать дальше: Edge-сервера...
Всего голосов 3: ↑3 и ↓0 +3
Просмотры3.5K
Комментарии 0