Старший инженер данных в ЭР Телеком Холдинг Москва

Старший инженер данных для проектирования и оптимизации масштабируемых пайплайнов обработки данных (batch и streaming) и участия в разработке AI/ML сервисов в Корпоративном центре ИИ.

Задачи:

• Проектировать и оптимизировать масштабируемые пайплайны обработки данных (batch и streaming) на базе Airflow, Spark, Hadoop, ClickHouse
• Поддерживать высокое качество данных (валидация, профилирование, мониторинг) и своевременную поставку признаков для аналитики и машинного обучения
• Участвовать в разработке AI/ML сервисов в рамках Корпоративного центра ИИ

Требования:

• Наличие высшего образования
• Продвинутое владение SQL (ClickHouse, Hive, реляционные СУБД), оптимизация запросов и структур хранения
• Продвинутое владение Python, PySpark и основы Scala для разработки и оптимизации пайплайнов на Spark
• Опыт работы с Hadoop/HDFS, интеграцией с объектными хранилищами (S3) и потоковой обработкой (Kafka)
• Проектирование и сопровождение устойчивых ETL/ELT-процессов в Airflow
• Навыки работы с Git, CI/CD и инструментами анализа (Jupyter, DataSphere)

Условия:

• Возможность присоединиться к профессиональной, высоко мотивированной и результативной команде, перспективы карьерного роста
• Официальное трудоустройство в аккредитованный IT-актив, оплачиваемые отпуск, командировки, больничные
• Рыночную заработную плату по результатам собеседования
• Корпоративный зарплатный проект для сотрудников со специальными выгодными предложениями в "Урал ФД Банке"
• ДМС со стоматологией после испытательного срока, 100% компенсацию больничного
• Комфортные офисные условия
• Корпоративные программы от наших партнеров
• Бонусное подключение к телеком-услугам Дом.ru по тарифу «Сотрудник»
• Яркую корпоративная жизнь и дружелюбную атмосферу в коллективе профессионалов!

Навыки:

• SQL
• ClickHouse
• Hive
• Python
• PySpark
• Scala
• Spark
• Hadoop
• HDFS
• S3
• Kafka
• Airflow
• ETL
• ELT
• Git
• CI/CD
• Jupyter
• DataSphere