Что такое Kafka Partition

Partition — это часть топика Kafka, которая хранит и обрабатывает подмножество сообщений. Каждый топик может быть разделен на несколько партиций для горизонтального масштабирования и параллельной обработки.

Ключевые особенности:

• Сообщения в партиции упорядочены (по offset).
• Партиции распределяются между брокерами для отказоустойчивости.
• Каждая партиция может быть обработана отдельным консьюмером в группе.

Пример создания топика с партициями:

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
AdminClient admin = AdminClient.create(props);

NewTopic newTopic = new NewTopic("my-topic", 3, (short) 1); // 3 партиции, 1 реплика
admin.createTopics(Collections.singleton(newTopic));

Чем больше партиций — тем выше параллелизм, но слишком большое их число может ухудшить производительность.