Apache Kafka: основы технологии

[iiwabor]

Посмотрел эти уроки — годный контент и хорошо поставленная речь! Большой плюс что на русском языке.

[sojey80135]

ждем на русском про KSQL, то там вопросов…

[mihmig]

Какой командой можно узнать список консьюмеров, подключенных к конкретной партиции конкретного топика?
Если это возможно, какие параметры коньюмера можно узнать (например IP-адрес)?

[EasyGrow]

Для консьюмеров из одной группы это можно сделать командой kafka-consumer-gropus с флагом --members.

Для всех консьюмеров (в т.ч. из разных групп) можно сделать то же самое, только запустить эту команду в цикле по списку всех групп

[molokovskikh]

Зачем это уменьшительное сравнение с Rabbit MQ?
Он решает подобные задачи в умелых руках и зоокиперы ему не нужны и клиенты к нему на всех ЯПах.

[EasyGrow]

У RabbitMQ и Apache Kafka есть пересечение, где обе технологии могут применяться для похожих задач. Но в целом это разные технологии с разной семантикой. Для каждой из них можно найти область, где она будет лучше другой (и хуже тоже).

В контексте семантики топиков, «бесконечного» хранения данных на диске, чтения одних и тех же данных сотнями/тысячами консьюмеров и масштабирования до десятков/сотен ГБ событий в секунду использовать RabbitMQ может быть какой-то мощный админ и сможет в сложных топологиях, но смысла в этом большого нет.

[leon_nikitin]

продьюсер сендит, консьюмер фетчит, кьюер воркается.

[tit-soroka]

Спасибо за материал.
Подскажите, какой командой можно посмотреть количество партиций в конкретном топике (с учётом всех репликаций) и какие consumer на них подписаны?

[morph]

Спасибо за материал, очень понятно написано.