Для чего нужен Offset Kafka

Offset в Kafka — это уникальный идентификатор сообщения в партиции, позволяющий отслеживать, какие данные уже были обработаны потребителем.

Основные моменты:

• Потребители хранят офсеты, чтобы продолжить чтение с нужного места после перезапуска.
• Управление офсетами может быть автоматическим (Kafka сохраняет их в топике __consumer_offsets) или ручным (commit вручную).
• При сбое потребитель может перечитать сообщения или пропустить их, в зависимости от стратегии управления офсетами.

Пример:

// Чтение с последнего коммитнутого офсета  
props.put("enable.auto.commit", "true");  

// Ручной коммит офсета  
consumer.commitSync();  

Важно:

• Потеря офсетов может привести к дублированию или пропуску данных.
• Офсеты уникальны только в рамках одной партиции.