Как Kafka хранит сообщения

Kafka хранит сообщения в партициях (разделах) топиков, которые представляют собой упорядоченные неизменяемые последовательности записей. Каждое сообщение в партиции имеет уникальный offset (смещение).

Особенности хранения:

• Сообщения хранятся в сегментах (segment files) на диске.
• Сегменты имеют ограниченный размер (по умолчанию 1 ГБ) или время жизни (логируются).
• Старые сегменты удаляются или сжимаются (в зависимости от политики retention).
• Для ускорения доступа используется индекс по offset.

Пример конфигурации топика:

Properties props = new Properties();
props.put("retention.ms", "604800000"); // 7 дней
props.put("segment.bytes", "1073741824"); // 1 ГБ на сегмент
AdminClient admin = AdminClient.create(props);

Kafka обеспечивает отказоустойчивость за счет репликации партиций на несколько брокеров.