Что такое DAG

DAG (Directed Acyclic Graph) — это направленный ациклический граф, где ребра имеют направление и отсутствуют циклы. В Data Science и ML DAG часто используется для представления зависимостей между задачами, например, в Airflow для оркестрации ETL-пайплайнов.

Пример DAG в Airflow:

from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime

def extract(): print("Extracting data")
def transform(): print("Transforming data")
def load(): print("Loading data")

with DAG('etl_pipeline', start_date=datetime(2023, 1, 1)) as dag:
extract_task = PythonOperator(task_id='extract', python_callable=extract)
transform_task = PythonOperator(task_id='transform', python_callable=transform)
load_task = PythonOperator(task_id='load', python_callable=load)

extract_task >> transform_task >> load_task

Ключевые свойства:
- Направленность: задачи выполняются в определенном порядке
- Ацикличность: нет бесконечных циклов
- Параллелизм: независимые задачи могут выполняться одновременно