Data-инженер по прайсингу продуктов в Альфа Банк удалённо

Data-инженер в команду прайсинга продуктов. Разработка и поддержка batch-пайплайнов данных, работа с Hadoop, Spark, Airflow.

Задачи:

• Разработка, поддержка и доработка batch-пайплайнов данных
• Поддержка и развитие DAG’ов в Airflow
• Работа со Spark и Hadoop: настройка, запуск и оптимизация расчетов, разбор проблем производительности и стабильности
• Разработка выгрузок, витрин данных и внутренних утилит для аналитиков и DS-команды
• Рефакторинг существующего кода: упрощение, повышение читаемости, надежности и взаимозаменяемости
• Техническая коммуникация с аналитиками и DS: уточнение деталей реализации, оценка рисков, предложение оптимальных решений

Требования:

• Высшее техническое образование
• Опыт работы python-разработчиком/дата-инженером
• Уверенный Python 3: написание поддерживаемого production-кода, работа с файлами, конфигурациями, логированием, обработкой ошибок
• Опыт работы с Hadoop-экосистемой
• Практический опыт работы со Spark: DataFrame API, джойны, партиционирование, понимание причин медленной работы задач и базовые способы оптимизации
• Практический опыт работы с Airflow: создание и сопровождение DAG’ов, зависимости, расписания, перезапуски, обработка ошибок
• Уверенное владение Git: ветки, pull request / code review, разрешение конфликтов, работа в командном репозитории
• Умение читать и писать SQL для аналитических и ETL-задач
• Способность самостоятельно разобраться в новом коде, пайплайне или технологии и довести задачу до рабочего результата

Условия:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
• Удаленный формат работы
• Среда для твоего неизбежного развития: сложные и интересные задачи, тренинги, вебинары, доступ к бесплатным корпоративным библиотекам Альпины и бизнес-изданий, скидки на курсы иностранных языков
• Карьерный рост: понимание, что нужно сделать для перехода на другой уровень
• Чувство локтя: дружелюбная атмосфера и команда профессионалов
• Забота о здоровье: программа ДМС со стоматологией и обслуживанием в лучших клиниках, скидки на абонементы в фитнес-клубы, спортивные сообщества, фитнес-зал в офисе
• Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, рестораны, бары, магазины, салоны красоты

Навыки:

• Python
• Hadoop
• Spark
• Airflow
• Git
• SQL