Что такое latest смещение консьюмера в Kafka

Latest смещение (offset) в Kafka означает, что консьюмер начнет чтение с самого последнего сообщения в партиции, игнорируя все предыдущие. Это полезно, когда нужно обрабатывать только новые сообщения, поступающие после запуска консьюмера.

Пример настройки в Java:

props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");

Важные нюансы:

1. При первом запуске группы консьюмеров (new consumer group) чтение начнется с конца топика
2. Если смещение было ранее сохранено (committed), консьюмер продолжит с этого места, несмотря на настройку 'latest'
3. В отличие от 'earliest', не будет обрабатывать исторические данные
4. Может привести к пропуску сообщений, если консьюмер запускается после их отправки