Хорошо ли хранить годами данные в Kafka

Хранение данных в Kafka годами возможно, но не всегда оптимально. Kafka предназначена для потоковой обработки и временного хранения (обычно дни/недели).

Проблемы:

• Увеличивается нагрузка на диск
• Замедляются операции (особенно при большом количестве партиций)
• Усложняется управление топиками

Когда можно:

• Если данные критичны и требуют replay
• При использовании Tiered Storage (Kafka 2.8+)
• Для аудита или compliance

Как настроить:

// Установка retention в 365 дней (в миллисекундах)
Properties props = new Properties();
props.put("log.retention.ms", "31536000000"); // 365 дней

Альтернативы:

• Архивация в S3/HDFS + Kafka Connect
• Использование специализированных хранилищ (ClickHouse, Cassandra)

Вывод: хранить можно, но лучше комбинировать с другими решениями.