Аналитик в ПАО Сбербанк Москва

Аналитик для работы над стратегическим проектом — мультиагентной системой иерархического графа причинно-следственных связей в бизнесе клиента. Нужен опытный Data Engineer для проектирования ETL-пайплайнов, интеграции данных в векторные и графовые БД, поддержки RAG-систем и ИИ-агентов.

Задачи:

• проектирование и разработка ETL/ELT-пайплайнов для обработки и трансформации табличных и событийных данных компании
• интеграция и загрузка данных в векторные, графовые и документные базы данных (в том числе для поддержки RAG-систем и ИИ-агентов)
• проектирование алгоритмов трансформации данных, расчет и поддержка аналитических витрин, обеспечение качественными данными процессов создания ML-моделей, RAG и ИИ-агентов
• организация регулярной поставки данных в Лабораторный контур для ad-hoc исследований и обучения моделей
• вывод в промышленный контур (Production) ETL-пайплайнов, витрин данных и компонентов для ИИ-сервисов
• профилирование, анализ сырых данных и оптимизация вычислительных процессов (настройка очередности расчетов, тюнинг запросов)
• мониторинг работы витрин и пайплайнов: анализ логов и метрик, оперативное выявление и решение проблем в ПРОМ-среде
• взаимодействие с командой сопровождения Hadoop/Spark кластера и разработчиками Core-сервисов для повышения надежности инфраструктуры, настройка процедур регулярного контроля качества данных (Data Quality) и автоматизация поставок

Требования:

• опыт работы в роли Data Engineer от 2 лет
• уверенное знание Python (ООП, структуры данных, алгоритмы) и библиотек для анализа/обработки данных
• отличное знание SQL, навыки оптимизации запросов
• понимание процессов ETL/ELT, опыт построения пайплайнов для табличных и событийных данных
• опыт работы с Big Data стеком: Hadoop, Apache Spark (PySpark, Spark+Scala), глубокое понимание структур данных, форматов хранения (Parquet, JSON, CSV, YAML)
• знание паттернов моделирования DWH, понимание концепций OLTP, OLAP, ACID, теоремы CAP, понимание специфики работы с векторными, графовыми и документными СУБД (опыт интеграции будет огромным плюсом)
• опыт вывода решений в промышленный контур
• уверенное владение Git, понимание принципов CI/CD и DevOps-практик, опыт работы с оркестраторами (Airflow) и системами мониторинга
• понимание основ машинного обучения, опыт работы с LangChain/LangGraph (базовый уровень для понимания потребностей ИИ-команды), опыт подготовки и согласования технической документации (Confluence, Jira)

Условия:

• комфортный современный офис г. Москва Вавилова 19
• гибридный формат работы
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• система обучения для профессионального и карьерного развития
• расширенный полис ДМС с первого дня работы и страхование для семьи
• программа ипотеки для сотрудников
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбер

Навыки:

• Python
• SQL
• ETL
• ELT
• Hadoop
• Apache Spark
• PySpark
• Scala
• Parquet
• JSON
• CSV
• YAML
• DWH
• OLTP
• OLAP
• ACID
• CAP
• Git
• CI/CD
• Airflow
• LangChain
• LangGraph
• Confluence
• Jira