Apache Kafka — скоро без ZooKeeper

[ivankudryavtsev]

Кворум — критическая вещь в реплицируемых системах. Сейчас все знают, что Zk надо размещать на нодах без перегрузки. Я не думаю, что в Confluent глупые люди работают, но как бы обрадовавшиеся пользователи не огребли еще больше проблем, считая, что это "не критично" и размещая встроенный кворум на нагруженных узлах...

[aig]

Обычные пользователи и zookeeper поставят на те же самые ноды, а для остальных есть настройки:

Each Kafka server now has a new configuration key called process.roles which can have the following values:

If process.roles is set to broker, the server acts as a broker in KRaft mode.
If process.roles is set to controller, the server acts as a controller in KRaft mode.
If process.roles is set to broker,controller, the server acts as both a broker and a controller in KRaft mode.
If process.roles is not set at all then we are assumed to be in ZooKeeper mode. As mentioned earlier, you can't currently transition back and forth between ZooKeeper mode and KRaft mode without reformatting.

[creker]

Все знают, но это просто умозрительное заключение, что так лучше. На практике же повсеместно ставят кафку и кипер на одни и теже ноды. Надо просто серваки не в притык брать, ставить лимиты, если уж прям совсем никак, и все будет хорошо. Выделять целый сервак или даже виртулку под кипер это прям оверкил. Он практически не потребляет ресурсов и в современной кафке используется не особо то активно.

[ivankudryavtsev]

Есть и другие сервисы, кому zk надо. Например, те, которые мы сами запилили или Clickhouse. Так что, it depends...

[gecube]

Это если у вас один ZK на все, что вряд ли хороший паттерн...

[denaspireone]

Но еще же есть молодой игрок под именем https://github.com/vectorizedio/redpanda

[gecube]

Ага, и опять выяснится, что хотя спека на рафт нормальная, но очередная имплементация с багами...

[roller]

Рады сообщить, что ранний доступ к KIP-500 уже закоммичен в ствол и будет

Пожалуйста, не коммитте в ствол.
А лучше — наймите хотя бы голодного студента, а не девочку-переводчицу с ноготочками.

[gAmUssA]

+1 лучше оставить лог как есть imo

[roller]

скорее всего там был master branch

[arsen_gl]

там было слово: trunk

[gecube]

надо оставить default как наиболее нейтральный термин )
А то на транк "зеленые" могут триггериться — чего это мы растительность не защищаем? :-)

[ggo]

Так и не понял, что приобрели избавившись от ZK.
Ну кроме того, что стало проще развертывать Kafka'у.

Ну еще в статье упоминается 2 млн партиций, хехе.