Из чего состоит Airflow

Airflow состоит из нескольких ключевых компонентов:

1. Web Server – Flask-приложение с UI для визуализации DAG, мониторинга задач и управления.
2. Scheduler – планирует выполнение задач, управляет зависимостями и триггерами.
3. Executor – определяет, как выполняются задачи (например, LocalExecutor, CeleryExecutor, KubernetesExecutor).
4. Metadata Database (PostgreSQL, MySQL и др.) – хранит состояние DAG, задач, конфигурацию.
5. Workers (в распределённых режимах) – выполняют задачи (например, при использовании Celery).
6. DAGs – Directed Acyclic Graphs, определяют workflow (задачи и их зависимости).

Пример простого DAG:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def hello_world():
    print("Hello, Airflow!")

dag = DAG(
    "example_dag",
    start_date=datetime(2023, 1, 1),
    schedule_interval="@daily",
)

task = PythonOperator(
    task_id="print_hello",
    python_callable=hello_world,
    dag=dag,
)