Python-разработчик в Ситуационно Информационный Центр Министерства Транспорта Российской Федерации Москва

• Проектирование, разработка и поддержка отказоустойчивых ETL/ELT-процессов.
• Сбор данных из различных источников (API, реляционные БД, логи, файлы).
• Трансформация, очистка и валидация данных для обеспечения качества.
• Загрузка и оптимизация хранения данных в аналитическом хранилище.
• Мониторинг пайплайнов и оперативное устранение инцидентов.
• Оптимизация производительности процедур обработки данных.

Требования:

• Язык программирования (Python)

Уровень: Глубокое профессиональное знание языка и обширный практический опыт. Способность самостоятельно проектировать архитектуру систем обработки данных и принимать обоснованные технические решения.
Ключевые навыки:

1. Свободное применение различных парадигм программирования (объектно-ориентированной, функциональной) для создания гибких систем.
2. Понимание внутренних механизмов работы программной среды и способов повышения быстродействия приложений.
3. Навык написания надежного кода, устойчивого к ошибкам и изменениям в структурах входных данных.
4. Умение эффективно организовать параллельную и распределенную обработку больших объемов информации.

Библиотеки: Опыт работы с библиотекой обработки данных Pandas и библиотеками взаимодействия с БД (SQLAlchemy, psycopg2).
Стандарты: Написание чистого, типизированного и тестируемого кода.

• Базы данных (PostgreSQL)

PostgreSQL: Глубокое знание SQL, оконных функций, проектирование схем (нормализация/денормализация).

• Оркестрация (Apache Airflow)

Опыт разработки сложных DAG: использование Providers, Hooks, Operators.
Умение работать с XCom, TaskFlow API и динамической генерацией задач.

• Инструменты и методологии

Git: Уверенное владение (ветвление, Pull Requests).
Linux: Базовые навыки работы в консоли (Bash, работа с логами, SSH).

• Личные и профессиональные компетенции

Аналитическое мышление: Способность проследить путь данных от источника до витрины.
Data-driven подход: Приоритет качества и достоверности данных над скоростью разработки.
Документирование: Привычка фиксировать логику процессов и структуру таблиц.

• Будет плюсом

1. Опыт работы с потоковой обработкой данных (Kafka, RabbitMQ).
2. Понимание планов выполнения запросов.
3. Опыт оптимизации производительности SQL-запросов.
4. Знание инструментов для трансформации данных в хранилище (dbt).
5. Опыт работы с библиотекой обработки данных PyArrow.
6. Понимание принципов колоночного хранения, опыт работы с движками семейства MergeTree, материализованными представлениями (Materialized Views) и механизмами сжатия данных. Оптимизация запросов под специфику OLAP.
7. Понимание принципов построения DWH (схемы «звезда», «снежинка», Data Vault).

Условия:

• График работы 5/2;
• Испытательный срок 3 месяца;
• Адрес работы: Москва, Большая Почтовая улица, 26с1
• Достойный (рыночный) уровень белой ЗП (обсуждается на собеседовании);
• Комфортные условия труда;
• Полное соблюдение ТК РФ;
• Рассматриваются кандидаты с инвалидностью;
• Демократичный коллектив.