Как распределяются данные в Kafka

Данные в Kafka распределяются по партициям внутри топиков. Каждая партиция — это упорядоченная, неизменяемая последовательность сообщений.

Ключевые моменты:

• Партиции позволяют горизонтально масштабировать обработку (consumer'ы читают параллельно)
• Ключ сообщения (key) определяет партицию (по умолчанию хэшируется)
• Без ключа сообщения распределяются по round-robin

Пример отправки с ключом:

ProducerRecord<String, String> record = 
    new ProducerRecord<>("my-topic", "user123", "message");
producer.send(record);

Где:

• user123 — ключ, определяющий партицию
• Одинаковые ключи всегда попадают в одну партицию (гарантия порядка)