Дата-инженер в Dodo Brands Москва

Дата-инженер в Drinkit (Dodo Brands) для работы с данными и пайплайнами на Databricks, Spark и Azure. Удалённо из любой точки мира или в офисах Москвы и Санкт-Петербурга.

Задачи:

• Разработка и поддержка ETL-пайплайнов и обработка данных
• Работа с Databricks, PySpark, Spark SQL, Structured Streaming, Delta Lake
• Работа с Azure: Event Hubs, ADLS Gen2, Data Explorer
• Инфраструктура как код и шаблонизация: Terraform, Jinja2
• Настройка CI/CD: Git, Databricks Asset Bundles
• Взаимодействие с аналитиками и менеджерами, проактивное улучшение пайплайнов

Требования:

• 4+ лет коммерческого опыта в роли Data Engineer / ETL-разработчик
• Сильный SQL
• Уверенный Python для обработки данных и простых сервисов
• Опыт с Spark или аналогом
• Базовый опыт с Kafka
• Проактивность: видеть проблемы и возможности в данных/пайплайнах и предлагать улучшения
• Готовность решать конкретные задачи, а не просто переливать данные
• Умение общаться с аналитиками и менеджерами, брать на себя ответственность

Условия:

• Трудоустройство по ТК РФ
• Удалённая работа из любой точки мира или офисы в Москве и Санкт-Петербурге
• Культура свободы и ответственности
• Оплачиваемое обучение: курсы, конференции, профильная литература, софинансирование английского в Skyeng
• ДМС с первого дня, включая стоматологию
• Поддержка ментального здоровья через Alter

Навыки:

• Databricks
• PySpark
• Spark SQL
• Structured Streaming
• Delta Lake
• Unity Catalog
• Python
• Azure
• Event Hubs
• ADLS Gen2
• Data Explorer
• Terraform
• Jinja2
• Git
• Databricks Asset Bundles
• SQL
• Spark
• Kafka