Что такое consumer group

Consumer group — это механизм в Apache Kafka, который позволяет группе потребителей (consumers) совместно обрабатывать сообщения из одного или нескольких топиков. Каждый consumer в группе читает уникальный набор партиций, обеспечивая балансировку нагрузки и параллельную обработку данных.

Ключевые особенности:

• Распределение партиций: Каждая партиция топика назначается только одному consumer'у из группы.
• Rebalance: При добавлении/удалении consumer'ов Kafka автоматически перераспределяет партиции.
• Offset management: Группа отслеживает позиции (offsets) для каждой партиции, чтобы избежать повторной обработки.

Пример на Python (kafka-python):

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'my_topic',
    group_id='my_group',  # Имя consumer group
    bootstrap_servers='localhost:9092'
)

for msg in consumer:
    print(msg.value.decode('utf-8'))