Data-engineer в Системы и Алгоритмы удалённо

Инженер данных с сильными компетенциями архитектора данных и БД в аккредитованную ИТ-компанию. Задача — планирование и внедрение инструментов хранения и обработки данных, проектирование целевой архитектуры хранилищ и пайплайнов.

Задачи:

• Планирование и проведение внедрения инструментов хранения и обработки данных
• Проектирование целевой архитектуры хранилищ
• Анализ потоков данных и выбор релевантного инструментария
• Проектирование и разработка пайплайнов данных
• Обеспечение качества данных
• Написание DAG, кастомных операторов и интеграций на Python
• Оптимизация SQL-запросов и настройка ресурсов кластеров под нагрузку
• Организация хранения и обработки данных для задач OLAP/OLTP
• Реализация паттернов CDC для синхронизации данных между системами
• Ведение и сопровождение заявок в Service-Desk
• Документирование технических решений

Требования:

• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО
• Уверенная работа с Postgres и MSSQL
• Опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis)
• Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы)
• Опыт использования Apache Kafka (producer/consumer) и Apache Flink (стриминговые джобы, состояние, чекпоинты)
• Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper, работа с объектным хранилищем S3
• Опыт реализации Change Data Capture паттернов
• Глубокие знания архитектуры данных и баз данных: нормализация и денормализация, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning)
• Уверенное владение Python: скрипты, модули, асинхронность, DAG в Airflow, кастомные операторы, hooks, sensors
• Навыки оптимизации: профилирование процессов, поиск bottlenecks, оптимизация SQL-запросов
• Владение Jira и Confluence на уровне confident user
• Опыт организации хранения данных для задач OLAP/OLTP с учетом consistency/integrity
• Опыт организации обработки данных в рамках OLAP/OLTP с применением batch processing и CDC
• Понимание паттернов организации интеграционных потоков (batch processing, CDC) с учетом 3V+
• Опыт заведения и сопровождения заявок в Service-Desk
• Умение структурировать информацию, работать с требованиями, документировать технические решения
• Английский на уровне чтения и написания технической документации

Условия:

• З/П: 270 000 - 295 000 р. gross
• Формат работы: удаленно по РФ
• Вид занятости: full-time
• Локация: любой город РФ
• Гражданство: РФ
• Участие в масштабном проекте цифровой трансформации
• Возможность увидеть результаты работы на реальном производстве
• Доступ к команде зрелых разработчиков и проектной поддержке: Team Lead, Product Owner, Project Manager
• Пространство для инициатив, развития и расширения зоны ответственности

Навыки:

• Postgres
• MSSQL
• Kafka
• Flink
• Airflow
• Iceberg
• Trino
• StarRocks
• Cassandra
• Redis
• Lakekeeper
• S3
• CDC
• Python
• SQL
• Jira
• Confluence
• Service-Desk
• Hadoop
• YARN
• Kubernetes
• CI/CD
• Apache NiFi
• InfluxDB
• TimescaleDB
• TDengine