Data Engineer Intern в Альфа Банк Москва

Стажёр Data Engineer в отдел разработки признаков ML-моделей. Работа с большими данными, разработка конвейеров обработки данных и подготовка данных для ML.

Задачи:

• обрабатывать и анализировать большие объемы данных, используя специализированные инструменты и технологии
• разрабатывать и оптимизировать алгоритмы обработки данных
• реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка
• реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей Machine Learning
• разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу
• отражать статус выполнения задач в Jira

Требования:

• владение Python — уверенное знание структур данных и алгоритмов
• эффективное применение принципов объектно-ориентированного программирования и функционального программирования
• опыт написания модульных и интеграционных тестов
• знание и опыт применения библиотек обработки и анализа данных — numpy, pandas
• владение SQL — умение создавать сложные запросы с использованием аналитических оконных функций
• умение использовать инструменты профилирования для оптимизации производительности запросов
• умение работать с базами данных Oracle, Postgres, Greenplum
• уверенное владение инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных — Airflow
• практический опыт разработки высоконагруженных приложений обработки данных на основе PySpark

Условия:

• трудоустройство по ТК
• добровольное медицинское страхование с топовыми клиниками с первого дня работы
• модный офис в Москве, Питере, Екатеринбурге и Сочи
• корпоративы, тусовки и фирменный мерч в подарок
• возможность поработать над продуктами с миллионной аудиторией
• поддержка и помощь персонального ментора

Навыки:

• Python
• numpy
• pandas
• SQL
• Oracle
• Postgres
• Greenplum
• Airflow
• PySpark
• Jira