Когда теряются данные в Kafka

Данные в Kafka могут потеряться в следующих случаях:

1. Недостаточная репликация – если replication.factor=1 и брокер умирает, данные теряются. Рекомендуется replication.factor>=3.

2. Неправильные настройки подтверждения (acks) – при acks=0 или acks=1 возможна потеря данных при сбое брокера. Для надежности используйте acks=all.

3. Недостаточный retention – если данные удаляются по истечении срока хранения (log.retention.hours).

Пример опасной конфигурации продюсера:

props.put("acks", "1"); // Риск потери данных при сбое
props.put("replication.factor", "1"); // Нет резервирования

Для минимизации рисков:

• Используйте acks=all
• Установите replication.factor>=3
• Настройте min.insync.replicas=2
• Контролируйте retention-настройки