Как распределяются партиции

Партиции в Kafka распределяются между брокерами в кластере для обеспечения отказоустойчивости и балансировки нагрузки. Каждая партиция реплицируется (по умолчанию 3 копии), где одна — лидер (leader), остальные — фолловеры (followers). Лидер обрабатывает все запросы на чтение/запись, фолловеры синхронизируются с лидером.

Пример создания топика с партициями:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
AdminClient admin = AdminClient.create(props);

NewTopic newTopic = new NewTopic("my-topic", 3, (short) 3);
admin.createTopics(Collections.singleton(newTopic));

Здесь создается топик my-topic с 3 партициями и фактором репликации 3. Kafka автоматически распределяет партиции и их реплики между брокерами, учитывая баланс и отказоустойчивость.