Что такое ELT

ELT (Extract, Load, Transform) — это подход к обработке данных, при котором данные сначала извлекаются из источников, затем загружаются в целевое хранилище (например, data lake или data warehouse) и только потом преобразуются.

Отличие от ETL:

• В ETL преобразование происходит перед загрузкой в хранилище.
• В ELT преобразование выполняется после загрузки, что позволяет работать с сырыми данными и выполнять трансформации по требованию.

Преимущества ELT:

• Гибкость — можно менять логику трансформаций без повторного извлечения.
• Масштабируемость — использует вычислительные мощности хранилища (BigQuery, Snowflake).

Пример (Python + SQL):

# Extract & Load (сырые данные в BigQuery)
import pandas as pd
data = pd.read_csv("source.csv")
data.to_gbq("dataset.raw_table", project_id="your-project")

# Transform (SQL внутри хранилища)
query = """
CREATE OR REPLACE TABLE dataset.transformed_table AS
SELECT user_id, SUM(revenue) as total_revenue
FROM dataset.raw_table
GROUP BY user_id
"""

Используется в современных облачных DWH (Snowflake, BigQuery) и data-платформах (Databricks).