Работал ли с Apache Airflow

Да, работал с Apache Airflow — это мощный инструмент для оркестрации и планирования задач. Основные моменты:

• DAG (Directed Acyclic Graph): Основная единица работы. Определяется в Python-скрипте, где задачи (операторы) связываются в граф зависимостей.
• Операторы: BashOperator, PythonOperator, PostgresOperator и др. для выполнения задач.
• Планировщик: Запускает задачи по расписанию или вручную через UI.

Пример простого DAG:

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime

with DAG(
    dag_id="example_dag",
    start_date=datetime(2023, 1, 1),
    schedule_interval="@daily",
) as dag:
    task1 = BashOperator(task_id="print_date", bash_command="date")
    task2 = BashOperator(task_id="echo", bash_command="echo 'Hello Airflow'")

    task1 >> task2  # Определение порядка выполнения

Также знаком с XCom для обмена данными между задачами, Hooks для подключений к внешним системам и настройкой Executor (Local, Celery, Kubernetes).