Data Engineer в Amarcon Нижний Новгород

О компании
Амаркон — российская компания с 15-летним опытом в области информационных технологий. Разрабатываем и внедряем собственные решения класса ECM, PIM, DAM, BI, порталы и сервисы для e-commerce, а также осуществляем заказную разработку и интеграцию партнерских продуктов. Среди клиентов: X5 Group, Tele2, Русатом Сервис, НЛМК, Metro CC, Лента и другие.

Задачи
● Разрабатывать интеграционные решения на BigData: сбор, трансформация и загрузка данных из API, логов, БД, CRM в Data Lake и DWH.
● Проектировать и развёртывать ETL/ELT-пайплайны на Airflow, Apache Nifi (или аналогах) с автоматизацией, мониторингом и обработкой ошибок.
● Оптимизировать производительность запросов и хранилищ: партиционирование, индексы, настройка Hive/Spark, работа с форматами Parquet/ORC/Avro.

● Обеспечивать качество и безопасность данных: валидация, дедупликация, управление доступом, маскировка PII.
● Участвовать в архитектурных решениях (DWH vs Data Lake, batch vs stream, CDC), разрабатывать документацию и архитектурные схемы.
● Участвовать в код-ревью, выстраивании CI/CD, оперативно реагировать на инциденты.

Требования
● Python: уверенное владение (pandas, requests, ООП, паттерны).
● Java или Groovy: чтение и доработка кода.
● Продвинутый SQL: оконные функции, CTE, JOIN-ы, чтение execution plan, оптимизация, индексы, партиционирование.
● Реляционные СУБД: PostgreSQL, MySQL, Oracle, MsSQL и др.
● Понимание DWH и Data Lake.
● Hadoop-экосистема: HDFS, Yarn, Hive или аналоги.
● Форматы данных: Parquet, ORC, Avro.
● Spark (PySpark/Scala): чтение/запись, оптимизация, партиционирование.
● Airflow, Apache Nifi или аналоги (Talend, Informatica, SAP BW) — проектирование, разработка, сопровождение.
● Настройка мониторинга, обработки ошибок, логирования.
● Docker (сборка, контейнеризация).
● Деплой в Rancher или Kubernetes.
● Git (консоль: ветки, мерж, конфликты).
● Понимание CI/CD, код-ревью.

Желательно:
● Администрирование Unix/Linux.
● Мониторинг (Zabbix, Grafana).
● Ansible.
● Архитектурные схемы.
● Безопасность данных (Ranger, маскировка).
● Облачные платформы (AWS/GCP/Azure: S3, EMR/Dataproc, IAM, VPC).

Мы предлагаем
● Удалённая работа
● Официальное оформление (ИП, СЗ)