Data Engineer в Сбер2B Москва

Data Engineer в IT-экосистему НПФ Сбербанка для промышленной интеграции через EcoData.Platform. Разработка процессов подготовки и поставки базового слоя данных и витрин.

Задачи:

• Реализовывать новую промышленную интеграцию НПФ с ПАО через EcoData.Platform
• Разрабатывать процессы подготовки и поставки базового слоя данных НПФ
• Формировать физическую реализацию новой базовой витрины по согласованной аналитиком модели
• Выполнять реверс-инжиниринг текущих SQL/ETL-процессов и переносить бизнес-логику в целевую поставку
• Реализовывать DQ-контроли, технические сверки, мониторинг и обработку ошибок
• Обеспечивать надежность, повторяемость и производительность промышленной поставки
• Участвовать в тестировании, ПСИ и вводе витрины в промышленную эксплуатацию
• После запуска первой версии реализовывать изменения целевой витрины по новым требованиям

Требования:

• Опыт Data Engineer / ETL-разработчиком от 2 лет
• Сильный SQL; Python для автоматизации и обработки данных
• Опыт разработки промышленных загрузок и преобразований данных
• Опыт работы с корпоративным DWH, желательно Greenplum/PostgreSQL
• Умение разбираться в существующих ETL-процессах, SQL-логике и зависимостях
• Понимание моделирования данных, контроля качества, идемпотентности и промышленного сопровождения
• Git и практика командной разработки/ревью

Условия:

• Работа в аккредитованной ИТ компании (актуально для владельцев IT-ипотеки)
• Гибридный график работы и корпоративная техника
• ДМС и специальные условия для страхования семьи, стоматологии и ведения беременности
• Программа адаптации с первого дня работы
• IT отсрочка от срочной службы
• Скидки на продукты и услуги системы СБЕР

Навыки:

• SQL
• Python
• ETL
• DWH
• Greenplum
• PostgreSQL
• Git
• Airflow
• NiFi
• Kafka
• объектные хранилища
• Data Quality