Data Engineer (Hadoop, Scala) в Медиалогия удалённо

Data Engineer в Медиалогию для разработки и оптимизации ETL/ELT-конвейеров и работы с Hadoop/Spark-инфраструктурой на больших данных.

Задачи:

• Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных
• Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase)
• Оптимизация распределенных вычислений и запросов
• Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ)
• Участие в проектировании и масштабировании архитектуры данных
• Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD)

Требования:

• Высшее или неоконченное высшее образование
• Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop)
• Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet)
• Опыт оптимизации производительности распределенных систем
• Работа с потоковой обработкой (Kafka, Spark Streaming)
• Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB)
• Опыт работы 3–6 лет

Условия:

• Полная занятость
• График 5/2
• Формат работы: удалённо или гибрид

Навыки:

• Hadoop
• Scala
• Java
• Apache Spark
• HDFS
• YARN
• Hive
• HBase
• Parquet
• Kafka
• Spark Streaming
• RabbitMQ
• Docker
• CI/CD
• SQL
• PostgreSQL
• MS SQL
• MongoDB
• PySpark
• Flink
• Airflow
• Elasticsearch
• ClickHouse
• Vertica