Для чего используется Kafka

Kafka — это распределённая потоковая платформа, предназначенная для обработки событий в реальном времени. Основные сценарии использования:

1. Обмен сообщениями между системами (Pub/Sub) — Kafka выступает в роли буфера, позволяя разным сервисам обмениваться данными асинхронно.
2. Сбор и обработка логов — централизованное хранение и обработка потоковых данных (например, логи приложений, метрики).
3. Стриминг данных — обработка событий в реальном времени (аналитика, мониторинг, триггеры).

Пример простой публикации и чтения сообщений:

from kafka import KafkaProducer, KafkaConsumer

# Producer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('test_topic', b'Hello, Kafka!')

# Consumer
consumer = KafkaConsumer('test_topic', bootstrap_servers='localhost:9092')
for msg in consumer:
    print(msg.value.decode('utf-8'))

Kafka обеспечивает высокую пропускную способность, отказоустойчивость и горизонтальную масштабируемость.