Data-инженер в команду SQL-SWAT в Авито Москва

Data-инженер для миграции DWH с Vertica на LakeHouse (Trino/Ceph), разработки инструментов миграции и поддержки пользователей.

Задачи:

• Разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции
• Самостоятельно мигрировать объекты с помощью созданных инструментов: транслировать код, верифицировать данные, переносить историю, переключать зависимости
• Обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции
• В рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных
• Мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA
• Улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов
• Взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики

Требования:

• Работали с аналитическими СУБД: Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino или другими
• Знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы
• Разрабатывали пайплайны обработки данных
• Уверенно владеете SQL, включая сложные оконные и аналитические функции
• Разбираетесь в планах запросов и можете оптимизировать запросы
• Разрабатывали сервисы и приложения на Python или Go

Условия:

• Возможность реализовывать идеи в проекте с многомиллионной аудиторией
• Возможность предлагать инициативы, проводить эксперименты и внедрять собственные идеи
• Влияние на аналитическую платформу, которой пользуются десятки команд Авито, и на эффективность критичных бизнес-процессов компании
• Рабочее оборудование и всё необходимое для продуктивной работы
• Прозрачная система премий, условия компенсации обсудим на собеседовании
• Возможность внешнего и внутреннего обучения за счёт компании (курсы, тренинги, лекции, обмен опытом и менторство)
• Забота о сотрудниках и их здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт и массажист
• Возможность удалённой работы и офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха

Навыки:

• Vertica
• Snowflake
• ClickHouse
• StarRocks
• Presto
• Trino
• SQL
• Python
• Go
• Ceph
• LakeHouse
• DWH