Дата инженер/Инженер по данным в Bell Integrator Москва

Инженер по данным в команду маркетинга крупного банка: разработка продуктовых витрин и ETL-процессов для сквозной аналитики и автоматизации рекламы.

Задачи:

• Загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы Hadoop)
• Проектирование и разработка аналитических витрин данных
• Проектирование и разработка коннекторов для ETL процессов
• Мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• Разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных
• Разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных

Требования:

• SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности)
• Стек технологий Big Data (Hadoop, Spark, Hive/Impala) и любой СУБД
• Знание понятий и концепций DWH
• Python (PySpark, Pandas, NumPy, REST API)
• Airflow/Dagster/Oozie
• BitBucket/Git
• Bash
• Внимательность к деталям, аналитические навыки, коммуникационные навыки, ответственность
• Опыт работы от 2 лет

Условия:

• Возможность профессионального и карьерного роста в компании
• Возможность поучаствовать в разных проектах
• Опыт работы в распределенной команде профессионалов
• Уровень заработной платы обсуждается индивидуально
• Оформление в соответствии с ТК РФ в Bell Integrator

Навыки:

• SQL
• Python
• Apache Spark
• Apache Hadoop
• Hive
• Impala
• PySpark
• Pandas
• NumPy
• REST API
• Airflow
• Dagster
• Oozie
• BitBucket
• Git
• Bash
• DWH