Data Engineer в SM Lab Москва

Data Engineer в платформенную команду BI для развития корпоративного хранилища данных (DataLake), разработки ETL потоков и помощи коллегам в оптимизации.

Задачи:

• Реализация ETL в Hadoop (с помощью Airflow)
• Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы
• Батч и стримы с помощью PySpark и Kafka
• Подготовка витрин для анализа (Hive + Spark + SQL)

Требования:

• Уверенное владение Python
• Опыт использования экосистемы Hadoop: HDFS, Apache AirFlow, Hive, Kafka, Spark
• Знание SQL
• Опыт работы с реляционными базами данных (Oracle)

Условия:

• Формат работы на выбор: офис/гибрид/удаленка
• Гибкий график (с 8 до 17, с 9 до 18 или с 10 до 19)
• Участие в проекте кафетерия льгот (ДМС, спорт, мобильная связь, обучение)
• Полугодовые премии
• Корпоративные скидки до 30% на товары Спортмастер, Ostin, Funday, Demix
• Внутреннее и внешнее обучение, конференции
• BestBenefits – сервис персонализированных скидок и привилегий
• Технику предоставляем

Навыки:

• SQL
• Python
• Apache Spark
• Apache Hadoop
• Apache Airflow
• ETL
• HDFS
• Hive
• Kafka
• Oracle
• MS SQL
• PySpark
• GitLab
• Jira
• Confluence