Data Engineer Middle в Itransition удалённо

Data Engineer Middle в Itransition. Построение и поддержка ETL/ELT-пайплайнов, работа с большими объёмами данных в облачной архитектуре.

Задачи:

• Проектирование и реализация data pipelines в облачной архитектуре
• Работа с ETL/ELT-технологиями и оркестрация пайплайнов
• Запрос и трансформация больших объёмов данных
• Обеспечение качества и валидации данных
• Анализ причин проблем в живых production-системах

Требования:

• 2+ года опыта с Python, включая библиотеки для работы с данными (pandas, multiprocess, Google Cloud SDK)
• 2+ года опыта с ETL/ELT (REST API, GraphQL, DBT) и оркестрацией пайплайнов (Airflow, Astronomer, DBT cloud)
• Практический опыт со Snowflake
• Опыт работы с SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)
• Работа с сериализованными форматами данных (JSON, AVRO, XML, CSV), сжатыми и закодированными файлами
• Опыт загрузки данных через REST API и техник трансформации/загрузки
• Английский, достаточный для работы в международной среде
• Будет плюсом: опыт с CI/CD и GIT

Условия:

• Удалённый формат работы
• Полная занятость, график 5/2
• Опыт работы: 1–3 года

Навыки:

• Python
• pandas
• multiprocess
• Google Cloud SDK
• ETL
• ELT
• REST API
• GraphQL
• DBT
• Airflow
• Astronomer
• DBT cloud
• Snowflake
• SQL
• SQL Server
• Oracle
• MySQL
• BigQuery
• JSON
• AVRO
• XML
• CSV
• CI/CD
• GIT