Python-разработчик (middle) в Мегафон Екатеринбург

Middle Python-разработчик в команду данных Мегафона. Проектирование и поддержка ETL-процессов, работа с Kafka, ClickHouse и PostgreSQL.

Задачи:

• Проектирование, разработка, оптимизация и поддержка ETL процессов для загрузки данных из различных источников
• Управление потоковой обработкой данных с использованием Apache Kafka (разработка продюсеров/консьюмеров, управление топиками, обеспечение надежности и отказоустойчивости)
• Разработка и оптимизация структур данных, схем и запросов в PostgreSQL для операционных и транзакционных задач
• Построение, администрирование и тонкая настройка ClickHouse кластеров для обеспечения высокой производительности аналитических запросов на больших объемах данных
• Разработка и поддержка решений на базе ClickHouse (или связки PostgreSQL + ClickHouse)
• Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)
• Мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных
• Автоматизация процессов обработки данных и развертывания (CI/CD)
• Взаимодействие с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации
• Устранение неисправностей в pipeline данных и базах данных

Требования:

• Опыт работы от 2-х лет на Python
• Опыт разработки и администрирования ClickHouse
• Глубокое понимание и практический опыт работы с Apache Kafka
• Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности)
• Понимание принципов построения ETL процессов
• Знание SQL на продвинутом уровне
• Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных

Навыки:

• Python
• Golang
• ClickHouse
• Apache Kafka
• PostgreSQL
• SQL
• Docker
• Kubernetes
• Linux
• CI/CD
• ETL
• S3