Data Engineer в TG @datasciencejobs удалённо

Ищем Data Engineer для длительного проекта: разработка и сопровождение интеграционных потоков и витрин данных на стеке Trino, Iceberg, S3, Spark, Airflow, Kafka, Flink.

Задачи:

• Сбор требований от бизнес-заказчиков и анализ источников данных
• Разработка, реализация и сопровождение интеграционных потоков и витрин данных
• Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
• Оперативное решение инцидентов и выполнение задач в зоне ответственности
• Поддержка и актуализация технической документации по платформе больших данных
• Подготовка отчетности по выполненным задачам

Требования:

• Понимание архитектуры Lakehouse и принципов работы платформ больших данных
• Понимание отличий Big Data/Lakehouse от классических систем хранения данных
• Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности)
• Знание Python и/или Java
• Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.)
• Уверенное владение Git
• Опыт работы с DBT, Cosmos, Apache NiFi
• Опыт разработки на Apache Spark
• Понимание принципов работы Trino
• Знание форматов данных Iceberg, Parquet, Avro
• Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами)
• Опыт работы с системами управления проектами и технической документацией

Условия:

• Формат: удаленно
• Зарплата: от 200 000 ₽
• Срок проекта: длительно

Навыки:

• SQL
• Python
• Java
• Git
• DBT
• Cosmos
• Apache NiFi
• Apache Spark
• Trino
• Iceberg
• Parquet
• Avro
• S3
• MinIO
• Greenplum
• Apache Airflow
• ClickHouse
• Hadoop
• Kafka
• Flink