Из чего состоит система в Kafka

Kafka состоит из нескольких ключевых компонентов:

1. Брокеры (Brokers) – серверы, хранящие данные и обрабатывающие запросы. Формируют кластер.
2. Топики (Topics) – логические разделы для сообщений (например, orders, logs).
3. Партиции (Partitions) – части топика, распределённые между брокерами для масштабирования.
4. Производители (Producers) – приложения, публикующие сообщения в топики.
5. Потребители (Consumers) – приложения, читающие сообщения из топиков (часто объединяются в группы).
6. ZooKeeper (в версиях до 3.0) – управлял метаданными и координацией брокеров. В новых версиях заменён на KRaft (встроенный механизм).

Пример создания топика через CLI:

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2 --bootstrap-server localhost:9092