Data Engineer / Дата инженер в Aston удалённо

Дата-инженер в Aston для построения высоконагруженных конвейеров обработки данных и подготовки данных в аналитических хранилищах под задачи машинного обучения.

Задачи:

• Реализовывать высоконагруженные конвейеры обработки данных для надёжной и бесперебойной репликации данных из ИТ-систем
• Реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков для моделей машинного обучения
• Разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу
• Своевременно отражать статусы выполнения задач в Jira
• Проверять качество кода, написанного инженерами данных

Требования:

• Опыт работы в роли Data Engineer от 4 лет
• Отличное знание Python: структуры данных и алгоритмы, ООП и функциональное программирование
• Опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников
• Способность разобраться с API поставщиков данных по доступной документации
• Отличное знание SQL: сложные запросы с аналитическими оконными функциями, инструменты профилирования для оптимизации производительности
• Опыт работы с БД Oracle, Postgres, Greenplum
• Опыт работы с Airflow
• Опыт разработки сложных высоконагруженных приложений обработки данных на основе PySpark
• Опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups
• Опыт разработки сервисов потоковой обработки данных с использованием Spark Structured Streaming, Flink
• Опыт работы с Flink

Условия:

• Полная занятость
• График 5/2
• Удалённый формат работы

Навыки:

• Python
• NumPy
• Pandas
• SQL
• Oracle
• Postgres
• Greenplum
• Airflow
• PySpark
• Apache Kafka
• Spark Structured Streaming
• Flink
• Jira