Data Engineer в Лига Цифровой Экономики удалённо

Дата-инженер для крупного банковского проекта по репликации данных из S3 в Hadoop. Задачи включают разработку ETL-процессов, анализ требований и качества данных, подготовку проектной документации.

Задачи:

• Реализовывать репликацию данных
• Разрабатывать ETL-процессы для интеграционных задач и тестировать их
• Декомпозировать задачи, оценивать длительность и трудоемкость каждого этапа
• Анализировать и формализовать требования заказчика
• Собирать прототип решения
• Анализировать качество данных
• Писать проектную документацию (FSD, BRD, регламент, Admin Guide, User Guide)
• Тестировать функционал и передавать заказчику
• Выполнять ad-hoc выгрузки по требованиям заказчика

Требования:

• Уверенное владение SQL
• Опыт работы с Python
• Опыт работы с Apache Spark, Hadoop/S3/S3-like, Airflow
• Навыки декомпозиции сложных задач и управления приоритетами
• Способность создавать понятную и структурированную техническую документацию

Условия:

• Внутренние семинары и митапы
• ДМС со стоматологией для сотрудников и скидка на ДМС для ближайших членов семьи
• Техника для комфортной работы
• Сессии профессионального развития персонала с планом индивидуального развития

Навыки:

• SQL
• Python
• Apache Spark
• Hadoop
• S3
• Apache Airflow
• ETL
• DWH
• Parquet
• ORC
• Apache Iceberg
• Kafka
• Data Vault