Data Engineer в Outlines Tech удалённо

Data Engineer в команду интеграционных сред. Развитие интеграционной среды, разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC.

Задачи:

• Развитие интеграционной среды: разработка потоков подключения метаданных информационных систем к Единому интеграционному слою и витрине DMDC
• Автоматизация и шаблонизация: создание шаблонов в платформе управления метаданными для подключения ключевых типов СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool)
• Разработка инструментов автоматизации: проектирование Python-скриптов для автоматической генерации DDL/DML запросов и Airflow DAG для процессов загрузки и обслуживания данных
• Поддержка и оптимизация: исправление ошибок существующих потоков, разработка Airflow DAG для обслуживания таблиц Iceberg с применением кастомных операторов
• Модернизация витрины: доработка функциональности витрины DMDC для полной поддержки возможностей каталога данных
• Документирование: подготовка и ведение проектной документации по результатам разработки

Требования:

• Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow
• Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop)
• Практические навыки конфигурации и оптимизации Spark-приложений и управления ресурсами Spark
• Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3
• Навыки работы с контейнеризацией и оркестрацией в среде Kubernetes (K8s)
• Опыт проведения нагрузочного тестирования систем обработки данных
• Экспертное владение SQL и навыками оптимизации сложных запросов
• Знание основ математической статистики, анализа данных и основ машинного обучения (PyTorch, TensorFlow)
• Умение работать в условиях распределенных систем и обеспечивать консистентность данных при автоматическом определении типов схем

Условия:

• Развитие и обучение: проекты для крупного бизнеса, внутренние митапы и разговорные клубы английского языка
• Забота и поддержка: служба заботы о сотрудниках, индивидуальное сопровождение, ДМС со стоматологией и регулярная обратная связь
• Комфорт: работа в аккредитованной IT-компании, зарплата по рынку, техника для работы и человекоцентричный подход
• Драйвовое комьюнити: команда прокаченных специалистов, внутренние события и уникальная корпоративная культура

Навыки:

• PostgreSQL
• MS-SQL
• Oracle
• ClickHouse
• DB2
• Tarantool
• Elasticsearch
• Hadoop
• Impala
• Hive
• S3
• Spark
• PySpark
• Spark Streaming
• Iceberg
• Kafka
• Airflow
• Python
• Pandas
• NumPy
• Matplotlib
• C#
• SQL
• Git
• Jira
• Kubernetes
• PyTorch
• TensorFlow