Был ли опыт работы с Big Data

Да, работал с Big Data в контексте обработки больших объемов данных с использованием Python-стэка. Основные инструменты:

• Pandas для анализа (с оптимизацией через chunksize и dtype)
• Dask для параллельной обработки
• PySpark (включая Spark SQL и DataFrame API) для распределенных вычислений
• Kafka + FastAPI для потоковой обработки

Пример обработки логов через PySpark:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("LogAnalysis").getOrCreate()
df = spark.read.json("s3://logs/*.json")  # Чтение из S3
filtered = df.filter(df.status_code != 200)  # Фильтрация
filtered.write.parquet("s3://output/errors/")  # Сохранение

Опыт включал масштабирование пайплайнов на AWS/GCP и оптимизацию запросов (партиционирование, broadcast join).