Как смотрел план составленный в Spark

В Spark можно посмотреть логический план выполнения с помощью метода .explain(). Он показывает физический и логический планы в разных режимах:

df.explain()  # простой режим
df.explain(extended=True)  # подробный режим с логическим и физическим планом
df.explain(mode="formatted")  # форматированный вывод

Пример вывода:

== Physical Plan ==
*(1) Project [id#0, name#1]
+- *(1) Filter (isnotnull(id#0) AND (id#0 > 2))
   +- *(1) Scan ExistingRDD[id#0,name#1]

Ключевые части плана:

• Scan — чтение данных
• Filter — фильтрация
• Project — выбор столбцов
• *N — количество партиций

Для оптимизации запросов анализируйте план на предмет: полных сканирований, отсутствия фильтрации на ранних этапах, избыточных shuffle-операций.