Инженер данных (Data Engineer) в USETECH удалённо

Инженер данных для миграции витрин данных со стека Hadoop на Apache Iceberg + Spark 3.5 + Apache Airflow. Работа включает анализ существующих решений, построение и развитие витрин данных и ведение технической документации.

Задачи:

• Анализ существующих решений и витрин данных
• Миграция витрин данных со стека Hadoop на стек Apache Iceberg + Spark 3.5 + Apache Airflow
• Реализация недостающих реплик для витрин данных
• Переработка существующих решений на целевом стеке
• Построение и развитие витрин данных, участие в тестировании
• Наполнение и актуализация технической документации

Требования:

• Уверенные знания SQL и Python
• Опыт работы с Apache Spark
• Практический опыт работы с хранилищами данных на базе Hadoop / S3
• Знание и опыт работы с Apache Iceberg
• Опыт использования Apache Airflow
• Понимание форматов хранения данных, в том числе Parquet
• Опыт работы с Git, CI/CD, Jira, Confluence
• Базовые знания Kafka

Условия:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании
• Расширенный полис ДМС со стоматологией
• Удаленную работу и гибкий график
• Обучение, сертификацию, клуб английского языка
• Геймифицированную программу лояльности

Навыки:

• SQL
• Python
• Apache Spark
• Hadoop
• S3
• Apache Iceberg
• Apache Airflow
• Parquet
• Git
• CI/CD
• Jira
• Confluence
• Kafka