Использовал ли Apache Spark

Да, работал с Apache Spark для обработки больших данных. Основные задачи:

• Чтение/запись данных в форматах Parquet, CSV, JSON через spark.read и df.write.
• Агрегации и трансформации с помощью groupBy, agg, join.
• Оптимизация через партиционирование (repartition, coalesce) и кэширование (persist).

Пример для PySpark:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()
df = spark.read.parquet("data.parquet")
result = df.groupBy("category").agg({"value": "avg"})
result.show()

Работал как в локальном режиме, так и в кластере (YARN). Для сложных пайплайнов использовал Spark SQL и UDF.