Что произойдет в случае двух Partition и одного Consumer в Kafka

Если в Kafka есть два партиции и один консюмер, то этот консюмер будет обрабатывать сообщения из обеих партиций. Kafka автоматически балансирует нагрузку, и консюмер подписывается на все доступные партиции топика.

Пример:

from kafka import KafkaConsumer

consumer = KafkaConsumer(
'my_topic',
bootstrap_servers='localhost:9092',
group_id='my_group'
)

for msg in consumer:
print(f"Partition: {msg.partition}, Offset: {msg.offset}, Value: {msg.value}")

В этом случае консюмер будет получать сообщения из обеих партиций последовательно. Важно помнить:
1. Порядок сообщений гарантируется только в пределах одной партиции
2. Если добавить больше консюмеров в группу, Kafka перебалансирует партиции между ними
3. Один консюмер может стать узким местом, если пропускная способность партиций превышает его возможности обработки