Инженер данных (Data engineer) в ИнфоТеКС Уфа

Инженер данных для построения и оптимизации пайплайнов сбора, хранения и трансформации данных. Работа с потоковой и batch-поставкой, оркестрацией задач и архитектурой хранения.

Задачи:

• Наладить потоковую или batch-поставку данных, организовать оркестрацию задач (например, Airflow)
• Настраивать автоматический сбор данных из разных источников (базы данных, API, файлы, очереди сообщений)
• Развивать и оптимизировать текущую архитектуру хранения: организовывать долгосрочное хранение данных (Data Lake / Parquet), обеспечивать интеграцию между источниками и аналитическими БД
• Поднимать и поддерживать тестовые стенды для отработки сценариев сбора данных (Docker Compose, генераторы тестовых данных)
• Разработка бенчмарков для оценки функциональных и нефункциональных характеристик решений

Требования:

• Опыт разработки на Python
• Уверенное владение SQL
• Уверенное владение командной строкой Linux
• Опыт работы с источниками данных: реляционные БД (PostgreSQL), аналитические БД (ClickHouse) и файловые системы/объектные хранилища (FTP/NFS/S3)
• Навыки контейнеризации (Docker/LXD) и умение поднимать локальные стенды для тестирования своих пайплайнов
• Опыт написания ETL-скриптов на Python (включая библиотеки pandas, polars или PyArrow) для трансформации и перемещения данных между источниками
• Умение писать простые бенчмарки (замерять время, память, CPU)

Условия:

• Полное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные листы, "белая" заработная плата
• Начало работы с 7.00 до 11.00, продолжительность рабочего дня 8 часов + 1 час на обед
• Оплачиваемое работодателем питание в офисе или кафе
• ДМС (добровольное медицинское страхование) - различные варианты программ, страховка от несчастных случаев
• Корпоративные мероприятия и спортивные инициативы (футбол, волейбол)
• Компенсация на занятия спортом
• Возможность получения профессиональных сертификатов и прохождения курсов повышения квалификации за счёт компании

Навыки:

• Python
• SQL
• Linux
• PostgreSQL
• ClickHouse
• FTP
• NFS
• S3
• Docker
• LXD
• pandas
• polars
• PyArrow
• Airflow
• Data Lake
• Parquet
• Kubernetes
• Helm
• Apache Spark
• PySpark
• Delta
• Iceberg