Data Engineer (ETL-миграция) в TG @recrytingIT удалённо

Data Engineer для участия в миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache стек. Требуется опыт миграции ETL, глубокий SQL, знание Oracle, PostgreSQL, Greenplum, Clickhouse, Apache Spark, NiFi, Airflow, Kafka, Hadoop, Hive.

Задачи:

• Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum)
• Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код
• Написание и оптимизация SQL для витрин данных и ETL-процессов
• Разработка DAG-ов в Airflow
• Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы)
• Разработка Spark-джобов (PySpark) для больших объемов
• Интеграция с Kafka для потоковой передачи
• Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик
• Разбор инцидентов по качеству данных и ошибкам загрузки
• Code review

Требования:

• Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек)
• Глубокий SQL: оконные функции, сложные джойны, иерархические запросы
• Оптимизация SQL для highload (партиционирование, индексы, explain plans)
• Oracle (PL/SQL) и PostgreSQL
• Greenplum и/или Clickhouse
• Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow
• Hadoop (HDFS) и Hive
• Мониторинг ETL: Grafana/Prometheus или Victoria Metrics
• Опыт работы с биллинговыми системами (телеком-домен)

Условия:

• Проект: Телекоммуникации
• Занятость: полная
• Локация: РФ
• Гражданство: РФ
• Формат: Удаленно
• График: МСК ± 2

Навыки:

• ETL
• SQL
• Oracle
• PL/SQL
• PostgreSQL
• Greenplum
• Clickhouse
• Apache Spark
• PySpark
• NiFi
• Airflow
• Kafka
• Hadoop
• HDFS
• Hive
• Grafana
• Prometheus
• Victoria Metrics
• Informatica
• Kafka Streams
• Spark Streaming
• Impala
• Patroni
• S3
• КриптоПро