senior data engineer в АО "НИТ" Астана

Senior Data Engineer в АО «НИТ» — оператор инфраструктуры электронного правительства Казахстана. Проектирование и сопровождение ETL/ELT-конвейеров и аналитических витрин на Python, Airflow, Spark и ClickHouse.

Задачи:

• Проектирование, разработка и сопровождение ETL/ELT-процессов с использованием Python и Apache Airflow
• Разработка распределённых процессов пакетной обработки данных с использованием Apache Spark (PySpark), Trino и Apache Iceberg
• Проектирование, построение и оптимизация аналитических витрин данных в ClickHouse и PostgreSQL с использованием dbt
• Организация загрузки данных из реляционных баз данных, брокеров сообщений и внешних REST API
• Анализ и оптимизация производительности SQL-запросов, партиционирования таблиц и хранения данных
• Внедрение автоматизированных проверок качества данных, механизмов оповещения и процессов CI/CD для развертывания решений

Требования:

• Практический опыт эксплуатации Apache Airflow, Spark (PySpark), ClickHouse и PostgreSQL в промышленной среде
• Уверенное владение Python и продвинутый уровень SQL, включая индексацию и анализ планов выполнения запросов
• Опыт работы в области Data Engineering от 3 лет, включая разработку сквозных конвейеров обработки данных и аналитических витрин
• Уверенный опыт работы с dbt для трансформации, тестирования и моделирования данных
• Знание Trino и Apache Iceberg будет преимуществом

Условия:

• Официальное трудоустройство
• Ежегодный трудовой отпуск + 2 оклада
• Профессиональный рост и развитие
• Участие в архитектурных решениях
• График работы: 5/2, с 08:00 до 17:30
• Место работы: г. Астана, EXPO C2.3

Навыки:

• Python
• SQL
• Apache Airflow
• Apache Spark
• PySpark
• ClickHouse
• PostgreSQL
• dbt
• Trino
• Apache Iceberg
• ETL
• ELT
• CI/CD
• REST API