Data Engineer в ТОО Dreamlab Technologies Ltd Астана

Data Engineer в консалтинговую ИТ-компанию Dreamlab Technologies. Разработка и поддержка ETL/ELT пайплайнов, интеграция данных из разных источников и участие в проектировании data-инфраструктуры.

Задачи:

• Разработка и поддержка ETL/ELT пайплайнов на Python
• Интеграция данных из различных источников (API, базы данных, файлы, облачные хранилища)
• Работа с хранилищами и базами данных (PostgreSQL, MySQL, MS SQL, ClickHouse и др.)
• Настройка и сопровождение процессов в Airflow (или аналогичных инструментах)
• Оптимизация производительности пайплайнов и SQL-запросов
• Миграция больших объемов данных между системами хранения с обеспечением целостности и минимизацией простоя
• Участие в проектировании архитектуры data-инфраструктуры
• Сотрудничество с аналитиками, разработчиками и Data Science командой

Требования:

• Опыт работы в роли Data Engineer или Python-разработчика от 2 лет
• Уверенное знание Python 3.x, умение писать чистый, поддерживаемый код
• Практический опыт работы с ETL/ELT процессами
• Хорошее знание SQL, опыт работы с реляционными базами данных
• Опыт работы с системами оркестрации задач (Airflow, Prefect или др.)
• Опыт работы с Apache Spark, Data Lake / Data Warehouse, Kafka
• Опыт работы с системами контроля версий (Git) и контейнерами (Docker)
• Знание архитектуры Data Lake / Data Warehouse

Условия:

• Официальное трудоустройство согласно Трудовому кодексу Республики Казахстан
• График работы: 5/2, с 09:00 до 18:00
• Формат работы: офис в г. Астана
• Стабильная заработная плата, размер обсуждается по итогам собеседования
• Оплачиваемый ежегодный трудовой отпуск
• Современное рабочее место и необходимая техника
• Возможность профессионального и карьерного роста
• Сильная команда разработчиков, аналитиков и менеджеров
• Возможность принимать участие в развитии архитектуры и технических решений проектов
• Корпоративные мероприятия и комфортная рабочая атмосфера

Навыки:

• Python
• ETL
• ELT
• PostgreSQL
• MySQL
• MS SQL
• ClickHouse
• Airflow
• Prefect
• SQL
• Apache Spark
• Data Lake
• Data Warehouse
• Kafka
• Git
• Docker