Что такое LEFT ANTI JOIN в PySpark

LEFT ANTI JOIN возвращает только строки из левой таблицы, которые не имеют совпадений в правой таблице. Это полезно для фильтрации данных, например, когда нужно найти записи, отсутствующие в справочнике.

Пример в PySpark:

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName("AntiJoin").getOrCreate()

df_left = spark.createDataFrame([(1, "A"), (2, "B"), (3, "C")], ["id", "value"])
df_right = spark.createDataFrame([(1, "X"), (2, "Y")], ["id", "value"])

result = df_left.join(df_right, "id", "left_anti")
result.show()

Вывод:

+---+-----+
| id|value|
+---+-----+
| 3| C|
+---+-----+

Ключевые особенности:
- Возвращает только записи из левой таблицы
- Не включает совпадающие записи
- Аналогичен операции: df_left.except(df_left.join(df_right))