Программист DWH в СМ Лаб Москва

Мы ищем программиста DWH в отдел хранилищ данных и бизнес-аналитики.

Команда развивает платформу интеграции данных (Data Integration Hub), которая собирает информацию из производственных систем, обеспечивает хранение исторических данных, их трансформацию и передачу потребителям. Решение помогает изолировать производственные системы от массовых асинхронных запросов и организовывать инкрементальные выгрузки данных.

Обязанности:

• Разрабатывать и развивать механизмы загрузки данных из источников (CDC, S3, REST, Oracle);
• Проектировать и поддерживать структуры хранения staging-слоя в Oracle (партиционирование, сжатие, индексы);
• Реализовывать логику выделения инкрементов и формирования init/delta-выгрузок для потребителей;
• Поддерживать контракты передачи данных: управлять изменениями схем источников через преобразования на стороне платформы;
• Настраивать коннекторы Kafka Connect;
• Оптимизировать производительность: тяжёлые запросы, PL/SQL, параллелизм, работа с большими объёмами;
• Участвовать в проектировании архитектуры: новые источники, новые потребители, масштабирование, стандартизация.

Требования:

• Знание SQL\PL\SQL, желательно опыт работы с Oracle SQL 19c/12c;
• Опыт работы с Python и Overflow;
• Опыт работы с реляционными СУБД, предпочтительно Oracle 19c/12c;
• Умение читать ER-диаграммы.

Будет плюсом:

• Знание технологий Business Intelligence;
• Коммерческий опыт разработки веб-приложений (JavaScript, HTML5);
• Опыт работы с брокерами сообщений Kafka;
• Опыт использования Apache Airflow;
• Опыт разработки с ИИ-агентами;
• Навыки проектирования баз данных, в том числе хранилищ данных.