Инженер данных в ПАО Сбербанк Москва

Инженер данных в команду платформы данных AEF, обрабатывающей трейсы работы AI-агентов. Нужен специалист, готовый доводить решения до промышленной эксплуатации и отвечать за их работу после запуска.

Задачи:

• Разрабатывать и выводить в ПРОМ витрины на SQL, Spark, Scala
• Разрабатывать сервисы для обработки и поставки данных
• Готовить данные для исследований в лабораторном контуре: работать с трейсами, техническими показателями и метриками AI-агентов
• Сопровождать витрины: анализировать логи и метрики, находить причины сбоев, устранять их и предотвращать повторение
• Разрабатывать проверки качества данных и тестировать расчёты
• Поддерживать техническую документацию и базу знаний, консультировать внутренние команды по составу и использованию данных

Требования:

• Опыт в data engineering от 3 лет
• Практический опыт разработки на PySpark или Spark
• Опыт разработки на Python или Scala
• Уверенное знание SQL (сложные запросы, оптимизация)
• Практический опыт работы с Hadoop, включая HDFS, YARN и Hive
• Понимание устройства хранилищ данных, принципов построения витрин и организации потоков данных от источника до потребителя
• Опыт вывода расчётов или сервисов в промышленную среду: Git, CI/CD, тестирование, диагностика сбоев по логам и метрикам
• Знание и регулярное использование LLM-инструментов для инженерных задач, умение оценивать их ответы и отвечать за качество итогового решения

Условия:

• Комфортный, современный офис м. Кутузовская
• Возможность выбрать удобный график – офис/гибрид
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета
• Программа адаптации и помощь руководителя на старте (для Junior позиций)
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Льготная ипотека для каждого сотрудника
• Бесплатная подписка Прайм с возможностью совместного использования на трёх близких
• Вознаграждение за рекомендацию друзей в команду Сбера
• Отсутствие строгого дресс-кода

Навыки:

• SQL
• Spark
• PySpark
• Scala
• Python
• Hadoop
• HDFS
• YARN
• Hive
• Git
• CI/CD
• LLM