Data Engineer (Flink) в X5 Tech удалённо

Data Engineer в X5 Tech для разработки потоковых данных на Apache Flink. Задачи включают проектирование архитектуры потоков и разработку Java-приложений для Big Data.

Задачи:

• Разработка шаблонов потоков данных на основе Flink DataStream
• Реализация архитектуры потоков данных
• Написание и доработка Java приложений для Big Data

Требования:

• Java Core: глубокое понимание ООП, многопоточности, коллекций, исключений и generics
• Spring Boot: опыт разработки микросервисов и REST API, включая Spring Data, Security, Actuator и AOP
• Apache Flink: опыт потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
• Дата-инженерия: работа с ETL/ELT, потоковыми и batch-процессами; инструменты Airflow и Temporal
• Проектирование фреймворков: понимание принципов проектирования библиотек и кода для других разработчиков
• Большие данные: знание принципов работы с большими данными (Spark, Dask, pandas — плюс)
• Базы данных: опыт работы с PostgreSQL, ClickHouse; знание форматов Iceberg и Paimon
• CI/CD и DevOps: навыки работы с CI/CD, Docker, Kubernetes (плюс)
• Качество кода: умение писать unit и integration тесты, следить за поддерживаемостью кода
• Опыт программирования на Python: скрипты, микросервисы, приложения

Условия:

• Опыт работы: 3–6 лет
• Полная занятость
• График: 5/2
• Формат работы: удалённо или гибрид или офис

Навыки:

• Java
• Java Core
• Spring Boot
• Spring Data
• Spring Security
• Spring Actuator
• AOP
• Apache Flink
• Flink DataStream
• Flink CDC
• ETL
• ELT
• Airflow
• Temporal
• Spark
• Dask
• pandas
• PostgreSQL
• ClickHouse
• Iceberg
• Paimon
• CI/CD
• Docker
• Kubernetes
• Python