Какие использовал ETL-инструменты

В Python для ETL часто используют:

1. Pandas – для обработки данных в памяти. Пример:

import pandas as pd
data = pd.read_csv('source.csv')
transformed = data.groupby('category').sum()
transformed.to_sql('results', engine, if_exists='replace')

2. Apache Airflow – оркестрация сложных пайплайнов.

3. SQLAlchemy – работа с БД (извлечение/загрузка).

4. PySpark – для больших данных (распределённая обработка).

5. Bonobo – лёгкий фреймворк для простых ETL-задач.

Для облачных решений: AWS Glue, Google Dataflow. Выбор зависит от масштаба данных и требований к производительности.