Data Engineer (Контроль качества) в Сбер. Data Science Москва

Ищем единомышленника в команду аналитики банковских рисков. Мы создаём витрины данных для принятия стратегических решений, работаем с крупнейшими объёмами информации о рынке и бизнесе, а наши отчёты читает руководство банка. Если вам интересно видеть практический эффект от своих инженерных решений — присоединяйтесь!

Обязанности

• разработка и оптимизация витрин данных и ETL-процессов на платформе Hadoop, с использованием инструментов Spark, Hive, HDFS
• анализ работы существующих ETL процессов, поиск и устранение проблемных мест
• взаимодействие с заказчиками для сбора, формализации и декомпозиции бизнес- и функциональных требований к данным
• сопровождать команд бизнеса и разработки моделей по ad-hoc запросам
• обеспечение качества и доступности данных
• оптимизация производительности обработки данных (например, настройка параметров Spark-джоб для достижения максимальной производительности и эффективности использования ресурсов кластера)
• применение ИИ-агентов для оптимизации и ускорения своих процессов.

Требования

• глубокое SQL (оконные функции, CTE, оптимизация планов запросов)
• опыт работы с Apache Spark (PySpark/Spark SQL), Hadoop/HDFS, партиционирование, распределённые вычисления
• опыт работы с scala/python
• понимание устройства хранилищ данных
• опыт работы с большими объёмами данных
• знание общих подходов к оптимизации
• навыки работы с git и linux bash
• промышленный опыт реализации ETL процессов
• общее понимание ИИ-архитектур и ML-алгоритмов.

Условия

• комфортный современный офис рядом с м. Кутузовская
• офисный формат работы
• ежегодный пересмотр зарплаты и годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.