Data Engineer (Flink) в X5 Tech удалённо

Data Engineer в X5 Tech для разработки потоковых данных на Apache Flink. Задачи включают проектирование архитектуры потоков и разработку Java-приложений для Big Data.

Задачи:

• Разработка шаблонов потоков данных на основе Flink DataStream
• Реализация архитектуры потоков данных
• Написание и доработка Java приложений для Big Data

Требования:

• Java Core: глубокое понимание ООП, многопоточности, коллекций, исключений и generics
• Spring Boot: опыт разработки микросервисов и REST API, включая Spring Data, Security, Actuator и AOP
• Apache Flink: опыт потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
• Дата-инженерия: работа с ETL/ELT, потоковыми и batch-процессами; инструменты Airflow и Temporal
• Проектирование фреймворков: понимание принципов проектирования фреймворков и библиотек
• Большие данные: знание принципов работы с большими данными (Spark, Dask, pandas — плюс)
• Базы данных: опыт работы с PostgreSQL, ClickHouse; знание форматов Iceberg и Paimon
• CI/CD и DevOps: навыки работы с CI/CD, Docker, Kubernetes (плюс)
• Качество кода: умение писать unit и integration тесты, следить за качеством и поддерживаемостью кода
• Опыт программирования на Python: скрипты, микросервисы, приложения

Условия:

• Формат работы: удалённо или гибрид или офис
• Полная занятость
• График: 5/2

Навыки:

• Java
• Spring Boot
• Apache Flink
• ETL
• ELT
• Airflow
• Temporal
• Spark
• Dask
• pandas
• PostgreSQL
• ClickHouse
• Iceberg
• Paimon
• CI/CD
• Docker
• Kubernetes
• Python