Data Engineer в ООО "ОДСС" Москва

Data Engineer для разработки и поддержания инфраструктуры данных для большого проекта озера данных.

Задачи:

• разработка и поддержание парсеров
• автоматизация обработки и преобразования данных
• отладка и мониторинг конвейеров данных

Требования:

• знание основных библиотек Python для работы с данными
• опыт обработки и скрейпинга/парсинга сложных и слабоструктурированных документов в форматах pdf, doc, docx, xls, xlsx
• опыт работы автоматизации конвейеров данных и знание соответствующих программных инструментов
• представление об управлении качеством данных
• представление о возможностях отладки мониторинга
• понимание специфики форматов данных (JSON lines, Parquet, XML, CSV и тд.)
• понимание методов получения и поставки данных (как, например, S3, REST API, SOAP, RPC)
• знание английского языка на уровне, достаточном для чтения технической документации
• знание Git
• готовность осваивать новые технологии и разрабатывать индивидуальные технические решения под поставленные задачи

Условия:

• Проект только стартовал — мало легаси, много свободы для экспериментов
• Можно влиять на выбор технологий и архитектурных решений
• Оформление по ТК РФ

Навыки:

• Python
• PostgreSQL
• Dagster
• Selenium
• Git
• JSON
• Parquet
• XML
• CSV
• S3
• REST API
• SOAP
• RPC