Что такое партиции в Kafka

Партиции в Kafka — это способ горизонтального масштабирования топиков. Каждый топик делится на одну или несколько партиций, которые распределяются между брокерами.

Ключевые особенности:

• Партиции упорядочены (сообщения в одной партиции сохраняют порядок)
• Позволяют параллельно обрабатывать сообщения (разные партиции — разные консьюмеры)
• Увеличивают пропускную способность (чем больше партиций — тем выше throughput)

Пример создания топика с партициями:

from kafka.admin import KafkaAdminClient, NewTopic

admin = KafkaAdminClient(bootstrap_servers="localhost:9092")
topic = NewTopic(name="my_topic", num_partitions=3, replication_factor=1)
admin.create_topics([topic])

Важно:

• Слишком много партиций может ухудшить производительность (накладные расходы)
• Количество партиций можно увеличить, но не уменьшить