Как обеспечить отказоустойчивость в Kafka

Для обеспечения отказоустойчивости в Kafka используйте:

1. Репликацию партиций
   Настройте replication.factor ≥ 3 (например, в server.properties):

   properties

   Копировать

   default.replication.factor=3

2. Минимум in-sync реплик
   Установите min.insync.replicas=2 для толерантности к потере одной ноды.

3. Надежные продюсеры
   Используйте подтверждение записи (acks=all):

   java

   Копировать

   props.put("acks", "all");

4. Кластер ZooKeeper
   Разверните минимум 3 ноды ZooKeeper для кворума.

5. Распределение брокеров
   Размещайте брокеры на разных физических серверах/зонах доступности.

6. Мониторинг и алерты
   Отслеживайте лаг репликации и статус ISR (In-Sync Replicas).

Пример конфигурации топика:

bin/kafka-topics.sh --create \
  --replication-factor 3 \
  --partitions 6 \
  --topic orders \
  --config min.insync.replicas=2