Что такое connections Airflow

В Airflow connections — это способ хранения и управления учетными данными для внешних систем (базы данных, API и т.д.) без хранения их в коде. Они хранятся в метаданных Airflow и могут быть созданы через UI, CLI или API.

Пример создания соединения через UI:

1. Перейдите в Admin → Connections.
2. Нажмите +, укажите:
   • Conn Id (уникальный идентификатор, например my_postgres_conn).
   • Conn Type (тип соединения, например Postgres).
   • Host, Login, Password, Port и другие параметры.

Использование в DAG:

from airflow.providers.postgres.hooks.postgres import PostgresHook

def query_data():
    hook = PostgresHook(postgres_conn_id="my_postgres_conn")
    df = hook.get_pandas_df("SELECT * FROM table")

Преимущества:

• Безопасность (пароли не в коде).
• Централизованное управление.
• Поддержка множества коннекторов (HTTP, SSH, облачные сервисы и др.).