Что такое ETL

ETL (Extract, Transform, Load) — процесс извлечения данных из источников, их преобразования и загрузки в целевую систему.

Этапы:

1. Extract — получение данных из БД, API, файлов и т.д.
2. Transform — очистка, фильтрация, агрегация, приведение к нужному формату.
3. Load — загрузка в хранилище (DWH, базу данных, облако).

Пример на Python с Pandas:

import pandas as pd

# Extract (из CSV)
data = pd.read_csv('source_data.csv')

# Transform (очистка и преобразование)
data = data.dropna()  # удаление пропусков
data['date'] = pd.to_datetime(data['date'])  # приведение даты

# Load (в новую БД)
data.to_sql('clean_data', con=database_connection, if_exists='replace')

Инструменты: Apache Airflow, Luigi, Spark, Talend.
Применение: аналитика, машинное обучение, миграция данных.