Что такое pool Airflow

В Airflow пул (Pool) — это механизм ограничения параллельного выполнения задач. Он позволяет контролировать нагрузку на ресурсы, ограничивая количество одновременно выполняемых задач в определенной группе.

Ключевые особенности:

• Каждому пулу можно задать максимальное количество слотов (slots)
• Задачи могут быть назначены в конкретный пул
• По умолчанию все задачи используют пул default_pool (128 слотов)

Пример создания пула через UI/CLI или код:

from airflow.models import Pool
Pool.create_or_update_pool(
    name='my_pool',
    slots=5,
    description='Limited pool for critical tasks'
)

Использование в операторе:

MyOperator(
    task_id='task_in_pool',
    pool='my_pool',
    # другие параметры...
)

Полезно для:

• Ограничения нагрузки на внешние API/сервисы
• Контроля ресурсоемких задач
• Приоритизации выполнения критически важных задач