Lead AWS Data Engineer в Lingaro Group удалённо

Ведущий инженер данных в глобальную компанию Lingaro Group. Разработка и поддержка пайплайнов данных на AWS, проектирование моделей данных, обеспечение качества данных.

Задачи:

• Разрабатывать и поддерживать пайплайны данных: модифицировать существующие Lambda-функции, SQL-запросы и задачи обработки для добавления новых функций
• Рефакторить код для приёма и обработки внешних данных
• Добавлять проверки качества в существующие пайплайны
• Проектировать и оптимизировать модели данных на основе формата Iceberg для слоёв silver и gold
• Оптимизировать запросы для производительности
• Применять правила валидации данных и создавать автоматические проверки качества
• Документировать процесс подготовки данных, включая трансформации, комментарии в коде и ключевые решения
• Хранить код в GitLab с понятными commit-сообщениями и правильным версионированием кода и наборов данных

Требования:

• 4–6 лет опыта работы Data Engineer
• Опыт проектирования и создания масштабируемых, надёжных и поддерживаемых пайплайнов данных
• Знакомство с CI/CD, автоматизированным тестированием и практиками Infrastructure as Code
• Сильные навыки разработки пайплайнов на Python (или эквивалент) с применением TDD и AI-ассистированных практик
• Экспертиза в моделировании данных и проектировании схем, включая аналитические модели
• Знакомство с DBT (Core или Cloud): модульные SQL-трансформации, моделирование, тестирование, документация, управление зависимостями
• Знакомство с инструментами оркестрации, такими как Airflow
• Понимание наблюдаемости данных, мониторинга, восстановления после сбоев и надёжности пайплайнов
• Сильные навыки SQL: сложные запросы, оптимизация производительности, аналитическое моделирование
• Знание оптимизации таблиц Iceberg, запросов Athena и нагрузок Spark для производительности и экономии
• Практический опыт работы с AWS: Athena, Lambda, Aurora, EventBridge, Glue, SageMaker
• Чёткая коммуникация с инженерами, продактом и стейкхолдерами данных
• Прагматичный подход: баланс инженерной строгости и результативности
• Чувство ответственности
• Свободный английский

Условия:

• Стабильная занятость: на рынке с 2008 года, 1800+ специалистов в 7 глобальных офисах
• Модель «офис как опция»: можно работать удалённо или в офисе
• Workation: возможность работать из вдохновляющих мест в соответствии с политикой
• Сертифицированный работодатель Great Place to Work®
• Гибкий график и предпочитаемая форма контракта
• Комплексная онлайн-онбординг-программа с «Buddy» с первого дня
• Сотрудничество с инженерами и экспертами высокого уровня
• Безлимитный доступ к платформе Udemy с первого дня
• Программы сертификации: 500+ технологических сертификатов ежегодно
• Поддержка повышения квалификации: программы развития, центры компетенций, вебинары, 110+ обучающих возможностей в год
• 76% менеджеров — внутренние повышения
• Разнообразное и инклюзивное сообщество, основанное на ценностях
• Автономия в выборе способа работы
• Бонусы за рекомендации друзей
• Мероприятия для благополучия и здоровья
• Возможности для благотворительности и поддержки окружающей среды
• Современное офисное оборудование

Навыки:

• AWS
• Lambda
• Athena
• Aurora
• EventBridge
• Glue
• SageMaker
• Python
• SQL
• Iceberg
• Spark
• DBT
• Airflow
• GitLab
• CI/CD
• TDD