Для чего нужен ETL

ETL (Extract, Transform, Load) — это процесс извлечения данных из различных источников, их преобразования в нужный формат и загрузки в целевую систему.

Основные цели:

1. Извлечение (Extract) – получение данных из разных источников (базы, API, файлы).
2. Трансформация (Transform) – очистка, фильтрация, агрегация, приведение к единому формату.
3. Загрузка (Load) – сохранение обработанных данных в хранилище (DWH, Data Lake).

Пример простого ETL на Python:

import pandas as pd

# Extract (из CSV)
data = pd.read_csv('source_data.csv')

# Transform (очистка и преобразование)
data['date'] = pd.to_datetime(data['date'])
data = data.dropna()

# Load (в новую базу)
data.to_sql('processed_data', con=database_connection, if_exists='replace')

Применение: аналитика, машинное обучение, интеграция систем.