Senior Data Engineer в Trust Wallet удалённо

Senior Data Engineer в Trust Wallet для построения и поддержки масштабной и безопасной data-инфраструктуры на Databricks, включая потоковые и batch-нагрузки, пайплайны и моделирование данных.

Задачи:

• Проектировать и поддерживать масштабную и безопасную data-инфраструктуру на Databricks для потоковых и batch-нагрузок
• Разрабатывать и поддерживать data-пайплайны преимущественно на Python и Spark для автоматизации загрузки и трансформации данных из внутренних систем, внешних провайдеров и on-chain источников
• Проектировать и поддерживать размерные модели данных и слои трансформации в dbt с тестами и документированными контрактами
• Управлять data lake и lakehouse-слоями: эффективное хранение, партиционирование, качество данных, мониторинг и алертинг
• Интегрировать Databricks с различными источниками данных, включая CDC из операционных БД, сторонние API и блокчейн-данные
• Оптимизировать пайплайны и хранение по производительности, надёжности и стоимости
• Применять лучшие практики governance, безопасности и compliance в облачных и Databricks-средах
• Работать в тесной связке с platform-инженерами, аналитиками и другими стейкхолдерами, документировать инфраструктуру, модели и практики

Требования:

• 3+ года опыта в Data Engineering с ответственностью за production-пайплайны и архитектуру lakehouse или DWH
• Сильный практический опыт с Databricks, Delta Lake и Spark, включая streaming и batch
• Понимание размерного моделирования, slowly changing dimensions и проектирования DWH
• Опыт с dbt или аналогичным фреймворком для трансформаций, тестирования и lineage
• Сильные облачные фундаментальные знания: IAM, объектное хранилище, сети, infrastructure as code (AWS; опыт с Azure или GCP переносится)
• Уверенное владение Python и SQL
• Опыт внедрения практик тестирования, мониторинга и governance в облачных data-средах
• Nice to have: опыт с CDC и репликацией из операционных БД
• Nice to have: знакомство с блокчейн или on-chain данными
• Nice to have: infrastructure as code, желательно Terraform, и CI/CD для data-нагрузок
• Nice to have: опыт с BI и semantic-слоями (Holistics, Looker или аналоги)
• Nice to have: контейнеризация и оркестрация (Docker, Kubernetes)

Условия:

• Полная занятость
• Формат работы: удалённо (Remote - Global)

Навыки:

• Databricks
• Delta Lake
• Spark
• Python
• SQL
• dbt
• AWS
• Azure
• GCP
• Terraform
• CI/CD
• Docker
• Kubernetes
• Holistics
• Looker