Data Engineer, Подготовка офлайн-факторов ранжирования в OZON удалённо

Data Engineer в OZON для подготовки офлайн-факторов ранжирования: создание витрин и датасетов, оптимизация Spark-задач и SQL-запросов, настройка регулярных процессов и контроль качества данных.

Задачи:

• Подготовка витрин и датасетов для команд, аналитики, DS и ML.
• Оптимизация Spark-задач, SQL-запросов и процессов поставки данных.
• Настройка регулярных процессов подготовки витрин данных и контроль их качества.
• Разбор инцидентов в процессах подготовки витрин и повышение их надежности.

Требования:

• Опыт разработки пайплайнов обработки данных от 2х лет.
• Уверенное владение Python и SQL.
• Опыт работы с PySpark/Spark или готовность быстро погрузиться.
• Опыт работы с Airflow или другими системами оркестрации обработки данных.
• Умение разбираться в существующем коде и улучшать его качество.
• Внимательность к надежности, производительности и мониторингу.

Навыки:

• Python
• SQL
• PySpark
• Spark
• Airflow