Какие знаешь типы операций в Spark

В Spark есть два основных типа операций: трансформации (transformations) и действия (actions).

Трансформации создают новую RDD/DataFrame/Dataset из существующей (ленивые операции):

• map(), flatMap(), filter() – поэлементные преобразования
• groupBy(), reduceByKey(), join() – агрегации и соединения
• repartition(), coalesce() – изменение партиций

Действия запускают вычисления и возвращают результат (неленивые):

• count(), collect(), take() – сбор данных
• saveAsTextFile(), write() – сохранение
• foreach() – выполнение функции для каждого элемента

Пример:

# Трансформация (не выполняется сразу)
rdd = sc.parallelize([1, 2, 3]).map(lambda x: x * 2)  

# Действие (запускает вычисления)
result = rdd.collect()  # [2, 4, 6]