Аналитик данных Data Quality в ПАО Сбербанк Москва

Аналитик данных в команду антифрод-платформы Сбера. Развитие системы мониторинга качества данных DataQuality: настройка алертов, снижение ложных срабатываний, исследование обращений пользователей и поиск новых проверок.

Задачи:

• Разбирать поток срабатываний проверок качества данных, отличая реальную деградацию от шума и ложных сигналов
• Настраивать проверки так, чтобы снижать долю ложных срабатываний: подбирать пороги по уровням severity, окно агрегации и базовый период на основе распределения метрики за исторический период
• Копать до первопричины срабатываний: идти в сырые события, поднимать историю, сопоставлять с релизами и инцидентами
• Оценивать качество алертов: сколько сигналов были ложными и почему
• Развивать методы детектирования: проверять статистические и ML-подходы к поиску аномалий и дрейфа на временных рядах и распределениях скорингов
• Работать с полной историей событий в Hadoop: писать запросы и расчеты на Spark SQL и PySpark
• Исследовать обращения пользователей антифрод-платформы в поддержку и вытаскивать из них реальную проблему с данными
• Соотносить обращения с текущим покрытием мониторинга
• Доводить находку до понятного «полуфабриката» и передавать системному аналитику

Требования:

• Опыт в аналитике данных или Data Science от трех лет, включая работу с потоковыми или near-real-time данными и с большими объемами в Hadoop / Spark
• Spark SQL и PySpark на больших объемах — ежедневный инструмент: умение читать план запроса и оценивать его стоимость до запуска
• SQL уверенно: оконные функции, многошаговые агрегации, джойны с контролем кардинальности, корректная работа с NULL и типами
• Python как основной рабочий инструмент
• Теория вероятностей и математическая статистика на уровне уверенного применения: доверительные интервалы, проверка гипотез, ошибки первого и второго рода
• Прикладная статистика для мониторинга: дрейф распределений (PSI), отклонение среднего и дисперсии от базовой линии, выбросы (z-score / IQR), сезонность; precision / recall применительно к алертам
• Практический опыт с ML: понимание метрик качества, переобучения, дрейфа признаков и влияния качества данных на модель
• Понимание принципов мониторинга качества данных: типы проверок, уровни severity
• Системный взгляд и исследовательская жилка

Условия:

• Комфортный современный офис в Москве, Кутузовский, 32
• График работы – офис
• Ежегодный пересмотр зарплаты, квартальная и годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Программа адаптации и помощь руководителя на старте (для Junior позиций)
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбер

Навыки:

• Spark SQL
• PySpark
• Hadoop
• SQL
• Python
• ClickHouse
• PSI
• z-score
• IQR
• ML
• Great Expectations
• Soda
• Evidently
• Monte Carlo
• Atlas
• DataHub
• OpenLineage