Python developer в Лига Цифровой Экономики Москва

Python-разработчик в команду Лиги Цифровой Экономики. Разработка сервиса обработки больших данных, построение Data Lineage и работа с Hadoop-стеком.

Задачи:

• Разрабатывать функциональность сервиса на Python
• Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне
• Реализовывать обработку, преобразование и агрегацию связей между объектами данных
• Работать с большими объемами данных с использованием PySpark, pandas, SQL
• Работать с Hadoop-стеком: HDFS, Spark, Hive
• Дорабатывать существующий фреймворк автоматизированного тестирования
• Разрабатывать и поддерживать автотесты для создаваемой функциональности
• Участвовать в анализе и устранении дефектов

Требования:

• Опыт разработки на Python от 2 лет
• Практический опыт работы с PySpark и pandas
• Отличное знание SQL
• Опыт работы со стеком Hadoop: HDFS, Spark, Hive
• Понимание принципов обработки больших объемов данных
• Опыт написания автоматизированных тестов на Python
• Готовность отвечать за качество разработанной функциональности и ее автоматизированную проверку
• Умение разбираться в существующем коде и самостоятельно решать технические задачи

Условия:

• Опыт работы: 1–3 года
• Полная занятость
• График: 5/2
• Формат работы: гибрид (Москва)

Навыки:

• Python
• PySpark
• pandas
• SQL
• Hadoop
• HDFS
• Spark
• Hive
• pytest
• Oracle
• PostgreSQL
• Greenplum
• DWH
• Data Lineage
• Data Governance
• Metadata Management