Опубликовано 12 дней назад

Data Engineer в ТКБ Инвестмент Партнерс Санкт-Петербург

в офис

middle

не указана

Сопроводительное письмо под эту вакансию

Софи напишет его под твоё резюме. Бесплатно — 5 писем в день.

Обязанности:

Участие в миграции данных и процессов с MS SQL на Postgres Pro
Построение и сопровождение CDC-процессов из PostgreSQL в DWH на ClickHouse
Разработка и поддержка ETL/ELT-пайплайнов (Airflow, Python, SQLMesh) - Оптимизация запросов и структур данных, диагностика проблем производительности
Администрирование БД
Взаимодействие с пользователями БД по вопросам архитектуры и нагрузки
Описание источников и моделей данных в каталоге данных на OpenMetadata
Передача экспертизы команде: стандарты, документация, ревью решений

Требования:

Высшее образование (ИТ, точные науки, инженерное)
Опыт работы от 3-х лет по специальности
Глубокое понимание архитектуры PostgreSQL: MVCC, WAL, autovacuum, планировщик, блокировки
Опыт работы с HA-кластерами PostgreSQL (Patroni, BiHA или аналоги): понимание механизмов failover и switchover, их влияние на приложения и потоки данных
Понимание физической и логической репликации и их влияния на нагрузку
Практический опыт построения CDC (Debezium, логическая репликация или аналоги)
Умение анализировать планы выполнения и оптимизировать запросы - Опыт проектирования индексов и партиционирования
Уверенное владение Python и опыт работы с Apache Airflow Будет плюсом опыт работы со следующими технологиями: Postgres Pro, ClickHouse
Опыт эксплуатации HA-кластеров PostgreSQL (Patroni или аналоги)
Опыт работы с OpenMetadata или другими каталогами данных
Опыт работы с трансформационными пакетами dbt или SQLMesh