В чем разница между Cron и Airflow

Cron — это стандартный планировщик задач в Unix-системах, работающий по расписанию (минута, час, день и т.д.). Он прост, но не отслеживает зависимости задач, их состояние или логи выполнения.

Airflow — это платформа для оркестрации сложных workflows. Позволяет:

• Задавать зависимости между задачами (DAG — Directed Acyclic Graph)
• Мониторить выполнение через UI
• Перезапускать задачи с места ошибки
• Параллельно выполнять задачи

Пример Cron:

0 3 * * * /path/to/script.sh  # Запуск каждый день в 3:00

Пример Airflow (DAG):

with DAG('my_dag', schedule_interval='@daily') as dag:
    task1 = BashOperator(task_id='task1', bash_command='echo "Hello"')
    task2 = PythonOperator(task_id='task2', python_callable=my_func)
    task1 >> task2  # Зависимость: task2 выполнится после task1

Когда что использовать:

• Cron — для простых задач по расписанию
• Airflow — для сложных пайплайнов с зависимостями и мониторингом