Data Engineer в Авито Москва

Data Engineer в кросс-функциональную команду, развивающую аналитическую платформу на базе Hadoop и Spark для пакетной обработки данных.

Задачи:

• Разрабатывать новые и поддерживать существующие продукты в составе кросс-функциональной команды
• Развивать существующую Big Data-платформу с учётом растущей нагрузки от новых задач и данных: 90% задач связаны со Spark
• Создавать новые сервисы на Python и улучшать существующие
• Внедрять инженерные практики и делиться с командой своим опытом
• Предлагать новые подходы и быстро проверять их в продакшене на реальных данных

Требования:

• Пишете на Python или Java/Scala и готовы перейти на Python
• Глубоко понимаете экосистему Hadoop/Spark/Hive и связанные продукты
• Работали с данными и решали аналитические задачи
• Умеете администрировать Linux-системы на базовом уровне
• Готовы искать нестандартные решения

Условия:

• Возможность реализовать свои идеи в проекте с многомиллионной аудиторией
• Команда, которая поддерживает инициативы
• Оборудование, дополнительные мониторы и всё, что нужно для продуктивной работы
• Система премий и зарплата, размер которой обсудим на собеседовании
• Личный бюджет на обучение, который можно тратить на книги, курсы и конференции
• Забота о здоровье: с первого дня ДМС со стоматологией, в офисе принимают терапевт и массажист
• Удалённый формат работы и комфортный офис в двух минутах от метро «Белорусская»

Навыки:

• Python
• Java
• Scala
• Hadoop
• Spark
• Hive
• Linux
• Apache Airflow
• FastAPI
• Zero
• Flask
• Asyncio
• Django
• Go
• Apache Kafka
• Apache Flink
• Ansible
• SaltStack
• Puppet
• Docker
• CI/CD
• TDD
• BDD
• Vertica
• ClickHouse
• Sphinx
• Trino