Из чего состоит кластер в Kafka

Кластер Kafka состоит из нескольких ключевых компонентов:

1. Брокеры — серверы, хранящие данные и обрабатывающие запросы. В кластере их обычно несколько для отказоустойчивости.
2. Топики — логические разделы данных (например, orders, logs).
3. Партиции — части топика, распределенные между брокерами для параллельной обработки.
4. ZooKeeper (до Kafka 3.4+) или KRaft (новый механизм) — управляет метаданными и координацией брокеров.
5. Производители (Producers) — отправляют сообщения в топики.
6. Потребители (Consumers) — читают сообщения, объединяясь в группы для балансировки нагрузки.

Пример создания топика через CLI:

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092

Здесь:

• partitions=3 — данные делятся на 3 партиции,
• replication-factor=2 — каждая партиция реплицируется на 2 брокера.