Работал ли с Apache Spark

Да, работал. Использовал PySpark для обработки больших данных, включая агрегации, фильтрацию и ML-задачи. Например, для обучения модели логистической регрессии:

from pyspark.sql import SparkSession
from pyspark.ml.classification import LogisticRegression

spark = SparkSession.builder.appName("LR").getOrCreate()
data = spark.read.csv("data.csv", header=True, inferSchema=True)
lr = LogisticRegression(featuresCol="features", labelCol="label")
model = lr.fit(data)

Оптимизировал производительность через `repartition()`, `cache()` и настройку параметров Spark. Работал с RDD и DataFrame API, включая SQL-запросы через `spark.sql()`.