Senior Data Platform Engineer в MY.GAMES удалённо

Инженер данных в игровую компанию MY.GAMES. Нужно развивать платформу данных, мигрировать ETL/ELT-пайплайны на новый on-premise стек и внедрять практики DataOps.

Задачи:

• Развивать платформу данных и руководить миграцией на новый on-premise стек
• Строить, поддерживать и мигрировать ETL/ELT-пайплайны из легаси-окружения на новый стек
• Работать со всем инструментарием: Python, SQL, Spark, Airflow, HDFS, Kafka, Trino, Iceberg, dbt
• Владеть Airflow как продакшн-оркестратором: DAG, деплой, ретраи, сенсоры, пулы, очереди, колбэки/листенеры, бэкфиллы и перезапуски
• Проектировать и внедрять практики DataOps: мониторинг, алертинг, отслеживание SLA/SLO, ранбуки, диагностика инцидентов и постмортемы
• Настраивать наблюдаемость для Airflow, Spark, HDFS, Kafka и других компонентов платформы
• Создавать кастомные листенеры, экспортеры, чекеры и внутренние инструменты для диагностики здоровья платформы
• Автоматизировать повторяющиеся операции команды: деплой DAG, миграции пайплайнов, бэкфиллы/ретраи/восстановление, предрелизную валидацию
• Развивать CI/CD и стандарты production-readiness для рабочих процессов данных
• Вносить вклад в Data Governance на инженерном уровне: владение, соглашения об именовании, метаданные, lineage, паттерны доступа, аудируемость и privacy-by-design
• Работать с Kubernetes на уровне приложений: обновление образов, настройка deployments/jobs/cronjobs, миграция сервисов, управление конфигами, секретами и переменными окружения
• Помогать команде сокращать ручные операции, повторяющиеся сбои и операционный шум

Требования:

• Практический опыт в роли Data Engineer, Data Platform Engineer, DataOps Engineer или аналогичной
• Уверенные знания Python и SQL
• Продакшн-опыт с Airflow
• Опыт с ETL/ELT-пайплайнами
• Опыт со Spark или аналогичной распределённой обработкой
• Сильное чувство ответственности и продакшн-мышление
• Базовые знания мониторинга и алертинга
• Опыт работы с Linux и контейнеризированными продакшн-средами

Условия:

• Удалённая работа из любой точки мира
• Коллаборативная атмосфера во внутреннем игровом сообществе, объединяющем более десятка внутренних игровых студий
• Сильная команда специалистов из разных областей — доступ к уникальной экспертизе и профессиональным знаниям
• Возможность экспериментировать и работать над интересными задачами с амбициозными целями — есть все ресурсы для реализации новых идей
• Создавать отличные игры и завоёвывать сердца игроков
• Расширять границы игровой индустрии и вести за собой

Навыки:

• Python
• SQL
• Airflow
• Spark
• HDFS
• Kafka
• Trino
• Iceberg
• dbt
• Kubernetes
• Linux
• Prometheus
• Grafana