Сколько сообщений хранит Kafka

Kafka хранит сообщения до тех пор, пока не будет достигнут один из лимитов:

• время хранения (по умолчанию 7 дней, настраивается через log.retention.hours)
• размер топика (настраивается через log.retention.bytes)
• размер партиции (настраивается через segment.bytes и retention.bytes)

Пример конфигурации для топика:

log.retention.hours=168  # 7 дней
log.retention.bytes=1073741824  # 1 ГБ на топик
segment.bytes=104857600  # 100 МБ на сегмент

Сообщения удаляются по принципу FIFO. Можно включить компактирование (cleanup.policy=compact), тогда Kafka будет хранить только последнее значение для каждого ключа.