Инженер данных в ПАО Сбербанк Москва

Инженер данных в команду, которая строит и поддерживает ядро данных. Помимо разработки ETL-пайплайнов и витрин, предстоит выстраивать стратегию тестирования данных (Data QA) на всех этапах — от сбора данных до их проверки.

Задачи:

• Разработка и поддержка ETL/ELT скриптов и пайплайнов
• Написание и оптимизация SQL-запросов для извлечения и преобразования данных
• Помощь в мониторинге выполнения джобов, поиск и первичный анализ ошибок
• Тестирование данных как кода: разработка и внедрение стратегии тестирования (Data Testing Strategy) для пайплайнов данных
• Написание и поддержка автоматических тестов для данных: проверка целостности, свежести, качества, соответствия схеме, точности бизнес-правил
• Интеграция тестов в CI/CD пайплайны (dbt test, Python-скрипты, unit-тесты)
• Работа с документацией по существующим процессам и создание новой
• Активное участие в код-ревью, изучение лучших практик командной разработки витрин

Требования:

• Понимание основ SQL: запросы с JOIN, GROUP BY, подзапросами; оконные функции — преимущество
• Практические знания и навыки Python для ETL: структуры данных, библиотеки Pandas, Requests, написание скриптов
• Понимание принципов работы баз данных: индекс, нормализация, транзакция
• Понимание принципов ETL/ELT и зачем это нужно
• Опыт с фреймворками оркестрации: Airflow, Trino, Dagster или аналоги
• Опыт тестирования данных: dbt test, Great Expectations, Pandas/Spark + pytest, unit-тестирование
• Готовность учиться, внимательность к деталям

Условия:

• Офисный формат работы (современный офис в Москве, м. Кутузовский проспект, с зонами отдыха и спортзалом)
• Годовой бонус и ежегодный пересмотр
• Обучение за счет компании: корпоративный университет, онлайн-курсы, неограниченный доступ к библиотеке, тренинги, митапы и возможность получить новую квалификацию
• Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• Льготная ипотека в Сбере
• Корпоративная пенсионная программа
• Бесплатная подписка СберПрайм

Навыки:

• SQL
• Python
• Pandas
• Requests
• ETL
• ELT
• Airflow
• Trino
• Dagster
• dbt
• Great Expectations
• pytest
• PostgreSQL
• ClickHouse
• Redshift
• Linux
• Docker
• API