Стажер-инженер данных BI (Data Engineer) в Лоция удалённо

Стажер-инженер данных BI в ИТ-компанию «Лоция». Работа с ETL-процессами, DBT, Dagster, Postgres, Clickhouse и BI-отчетами в Apache Superset.

Задачи:

• Построение ETL-процессов: разработка и настройка конвейеров по сбору и трансформации данных из различных источников
• Работа с современным стеком трансформации: освоение и применение DBT для превращения «сырых» данных в чистые аналитические витрины
• Оркестрация данных: настройка и поддержка рабочих процессов (pipelines) в Dagster, чтобы данные в отчетах обновлялись вовремя и без сбоев
• Управление хранилищами: работа с Postgres и высокопроизводительной колончатой базой данных Clickhouse для обеспечения скорости работы отчетов
• Визуализация смыслов: разработка интерактивных BI-отчетов в Apache Superset, которые помогут бизнесу принимать решения на основе данных
• Оптимизация выборок: анализ и ускорение тяжелых запросов для повышения производительности всей системы отчетности

Требования:

• SQL: уверенное владение языком (сложные выборки, агрегатные функции, понимание принципов оптимизации запросов)
• Базы данных: понимание устройства реляционных БД (в частности, PostgreSQL) и общих принципов построения аналитических хранилищ
• Python: базовые знания языка, умение писать скрипты для обработки данных и автоматизации простых задач
• Аналитический склад ума: способность работать с большими массивами данных, выявлять закономерности и структурировать информацию
• Будет плюсом: BI-инструменты: опыт создания дашбордов в Apache Superset, Tableau, Power BI или аналогичных системах
• Будет плюсом: ETL/ELT: понимание концепций извлечения, трансформации и загрузки данных
• Будет плюсом: архитектура данных: понимание разницы между OLTP и OLAP системами (например, почему для аналитики используется Clickhouse)
• Будет плюсом: современный стек: интерес к инструментам DBT (Data Build Tool) или оркестраторам данных (Airflow, Dagster)

Условия:

• Формат работы: можно удалённо

Навыки:

• SQL
• PostgreSQL
• Python
• DBT
• Dagster
• Clickhouse
• Apache Superset
• ETL
• ELT
• OLTP
• OLAP
• Airflow
• Tableau
• Power BI