Что такое Apache Airflow

Apache Airflow — это платформа для оркестрации и планирования задач, написанная на Python. Позволяет создавать, мониторить и управлять сложными workflows (DAG — Directed Acyclic Graph) с помощью кода.

Ключевые особенности:

• DAG — граф задач без циклов, где зависимости определяются явно.
• Операторы (BashOperator, PythonOperator и др.) — шаблоны для выполнения задач.
• Scheduler — автоматический запуск задач по расписанию.
• Web UI — визуализация и управление workflows.

Пример DAG:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def hello_world():
    print("Hello, Airflow!")

with DAG(
    dag_id="example_dag",
    start_date=datetime(2023, 1, 1),
    schedule_interval="@daily"
) as dag:
    task = PythonOperator(
        task_id="print_hello",
        python_callable=hello_world
    )

Используется для: ETL, ML pipelines, автоматизации отчетов и других сложных процессов.