Data Engineer в Aya Games удалённо

Дата-инженер в команду мобильной MMO RPG Riorise. Отвечает за надёжность, производительность и развитие аналитической платформы на событийных данных.

Задачи:

• Проектировать, поддерживать и оптимизировать ETL/ELT-процессы в Airflow: инкрементальные загрузки, backfill, cleanup, full-refresh, обработка исторических данных
• Развивать ClickHouse-хранилище: проектировать таблицы, партиционирование, ключи сортировки, TTL/cleanup-логику, оптимизировать тяжёлые запросы
• Работать с событийными потоками: ingestion из RabbitMQ и сырых event-таблиц, дедупликация, парсинг JSON-событий, контроль пропусков, восстановление необработанных событий
• Поддерживать и развивать dbt-модели и BI-витрины: продуктовые отчёты, агрегаты, исторические срезы, контроль полноты и корректности данных
• Разбирать инциденты с данными: пустые отчёты, пропавшие исторические значения, замедление DAG, накопление очереди, восстановление данных из raw-слоя
• Строить мониторинг качества и свежести данных: лаги пайплайнов, объёмы событий, пропуски по датам и категориям, аномалии в витринах, длительность DAG/task
• Оптимизировать существующие процессы: убирать неэффективные anti-join/NOT IN, тяжёлые FINAL, полные OPTIMIZE, лишние cleanup-циклы, неоправданные full-refresh
• Делать восстановление данных управляемым: безопасные backfill-сценарии, батчирование, проверка результата, повторяемые процедуры
• Документировать критичные пайплайны: источники, SLA, логика дедупликации, backfill, бэклог, source of truth
• Работать вместе с аналитиками и продуктом: понимать влияние витрин на отчёты и связь технических проблем с продуктовой аналитикой

Требования:

• Уверенный SQL и опыт оптимизации запросов на больших объёмах данных
• Практический опыт с ClickHouse или похожими columnar OLAP-хранилищами
• Опыт с Airflow: DAG-и, retries, timeouts, backfill, dependency management, диагностика долгих task
• Понимание event-driven data pipelines: очереди, raw events, idempotency, дедупликация, late events
• Опыт с dbt или похожим подходом к аналитическим моделям
• Готовность соединять data engineering, AI-инструменты и автоматизацию внутренних процессов
• Умение системно расследовать проблемы: от симптома в BI-отчёте до конкретного запроса, таблицы или сломанной логики cleanup
• Желание работать над надёжностью всей data-платформы, а не только над доставкой данных

Условия:

• Полностью удалённая работа
• Гибкий график — ориентация на результат, а не на часы
• ДМС после испытательного срока
• Возможность напрямую влиять на рост международного игрового проекта
• Большая свобода в тестировании гипотез, форматов и подходов
• Команда, ориентированная на быстрые итерации и масштабирование успешных решений

Навыки:

• SQL
• ClickHouse
• Airflow
• dbt
• ETL
• ELT
• RabbitMQ
• JSON
• BI
• OLAP