Что такое Apache Airflow

Apache Airflow — это платформа для оркестрации, планирования и мониторинга рабочих процессов (workflows). Позволяет создавать, управлять и визуализировать сложные цепочки задач (DAG — Directed Acyclic Graph) с зависимостями.

Ключевые особенности:

• DAG — задачи объединяются в графы с зависимостями.
• Операторы — шаблоны для выполнения задач (PythonOperator, BashOperator и др.).
• Расписание — гибкое планирование через cron-подобные выражения.
• Мониторинг — веб-интерфейс для отслеживания выполнения.

Пример DAG:

from airflow import DAG  
from airflow.operators.bash import BashOperator  
from datetime import datetime  

with DAG(  
    dag_id="example_dag",  
    start_date=datetime(2023, 1, 1),  
    schedule_interval="@daily"  
) as dag:  
    task1 = BashOperator(task_id="print_date", bash_command="date")  
    task2 = BashOperator(task_id="echo", bash_command="echo 'Hello Airflow!'")  
    task1 >> task2  # Зависимость: task1 → task2  

Используется в ETL, ML-пайплайнах, автоматизации отчетов.