Инженер данных в DWH в Яндекс Москва

Инженер данных в команду DWH Лавки. Задача — связать batch- и RT/NRT-контуры данных и развить платформенную основу для AI-продуктов, включая работу с AI-агентами в хранилище.

Задачи:

• Проектировать и развивать RT/NRT-поставки данных для сценариев продуктовых команд: жизненный цикл заказа, работа сотрудников, складские операции, отслеживание доступности товаров
• Продумывать взаимодействие оперативного и batch-контуров, подбирать архитектуру с нужной скоростью, полнотой, стоимостью и надёжностью данных
• Помогать системным аналитикам и продуктовым командам проектировать RT-данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных
• Прорабатывать правила работы с запаздывающими событиями и предварительными результатами
• Искать новые способы работы с RT-данными, разрабатывать универсальные подходы и помогать внутренним заказчикам
• Вести инженерные задачи: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контроль их работы и безопасное развитие DWH с большим графом зависимостей
• Расширять возможности AI-агентов в автономном DWH: предоставлять качественный контекст и инструменты, устанавливать ограничения и проверки, оценивать результаты работы
• Работать с нетиповыми инцидентами: выявлять системные причины и создавать новые проверки, инструменты и возможности для агентов

Требования:

• Опыт проектирования и поддержки промышленных RT/NRT-пайплайнов, понимание отличий их разработки и эксплуатации от batch-обработки
• Опыт разработки в крупном DWH или распределённой платформе, понимание, как безопасно менять процессы с большим графом зависимостей
• Умение проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников
• Уверенное владение Python и SQL, понимание принципов моделирования данных, качества, наблюдаемости и надёжной эксплуатации
• Умение превращать не до конца сформулированную бизнес-задачу в модель данных и техническое решение, сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников
• Опыт использования AI-агентов в инженерной работе и желание развивать подход, где человек управляет целями, качеством и архитектурой, а значительную часть реализации выполняют агенты
• Готовность брать ответственность за результат поставки данных, а не только за написанный код

Условия:

• Работа в команде DWH Лавки над хранилищем, поддерживающим аналитику и ключевые операционные процессы бизнеса
• Инженерная роль с полной ответственностью за результат: самостоятельный выбор задач, проектирование решений, запуск в промышленную эксплуатацию и развитие вместе с продуктовыми командами

Навыки:

• Python
• SQL
• YQL
• DMP Suite
• YT
• Greenplum
• ClickHouse
• Apache Flink
• Flink Flow
• LogBroker
• Data Quality
• ETL
• DWH
• RT/NRT
• AI-агенты