Что такое Consumer group в Kafka

Consumer group в Kafka — это механизм для параллельной обработки сообщений из топика несколькими потребителями (consumers).

Ключевые особенности:

• Каждое сообщение в топике доставляется только одному потребителю внутри группы, обеспечивая балансировку нагрузки.
• Группа идентифицируется уникальным group.id.
• Партиции топика распределяются между потребителями группы (один партиция — один consumer).
• Если consumer отключается, его партиции перераспределяются между оставшимися (rebalance).

Пример на Python (kafka-python):

from kafka import KafkaConsumer

consumer = KafkaConsumer(
    'my_topic',
    bootstrap_servers='localhost:9092',
    group_id='my_group'  # Указываем группу
)

for msg in consumer:
    print(msg.value.decode('utf-8'))

Важно:

• Увеличение числа потребителей в группе сверх количества партиций не даёт прироста производительности.
• Для масштабирования можно увеличивать число партиций в топике.