Data Engineer (команда RecSys) в Okko Москва

Data Engineer в команду рекомендаций Okko для построения пайплайнов и развития платформы данных, включая потоковую обработку и feature store.

Задачи:

• поддержка и разработка batch ETL-пайплайнов на Airflow для аналитических витрин и ML
• потоковая обработка данных с использованием Spark Streaming, Kafka, MongoDB
• развитие feature store, наполнение его фичами и интеграция данных для ML-моделей
• документирование, оптимизация и мониторинг пайплайнов и потоков данных

Требования:

• уверенное знание Python и SQL
• опыт построения ETL-процессов с использованием перечисленного стека

Условия:

• Необходимое оборудование и софт для работы
• Официальное трудоустройство
• ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки
• Льготные условия ипотеки в рамках зарплатного проекта
• Бесплатная подписка на сервисы партнеров
• Корпоративный спорт
• Насыщенная корпоративная жизнь
• Электронная библиотека издательства МИФ

Навыки:

• Apache Spark
• Apache Airflow
• ClickHouse
• SQL
• Python
• Spark Streaming
• Kafka
• MongoDB
• Hive
• S3
• DataHub
• CI/CD
• Docker
• Grafana