Data Engineer в ЛИАН удалённо

Data Engineer в аутстафф-проект: проектирование и сопровождение пайплайнов на платформе Databricks, управление данными и доступом, автоматизация через Terraform.

Задачи:

• Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными на платформе Databricks (Unity Catalog, Delta Lake, Workflows).
• Проводить исследование, профилирование и очистку наборов данных для распределения по бизнес-доменам и выявления PII.
• Участвовать в создании архитектуры разграничения доступа к данным, включая data contracts, управление правами и автоматизацию через Terraform.
• Взаимодействовать с командой для рецензирования схем доступа и контрактов данных.
• Обеспечивать корректный запуск продуктов обработки данных и механизмов контроля доступа.
• Готовить и актуализировать документацию по контрактам данных, моделям доступа и регламентам управления.
• Отслеживать работу пайплайнов и выполнять проверки качества данных.
• Изучать внутренние наработки и искать готовые решения для повторного использования компонентов.

Требования:

• Более 3 лет опыта в области проектирования данных.
• Опыт работы с Python и фреймворками обработки данных (Spark/PySpark).
• Практический опыт с Unity Catalog и Delta Lake.
• Опыт автоматизации развертывания Databricks через Terraform.
• Умение оптимизировать производительность Spark-задач.
• Опыт потоковой обработки (структурированный стриминг Spark).
• Глубокие знания моделирования данных, распределенной обработки, SQL и архитектуры хранилищ/озерных баз.
• Практический опыт развертывания облачных платформ (Databricks, GCP или AWS) с Terraform.
• Опыт внедрения CI/CD для кода обработки данных (Jenkins/GitLab CI).
• Способность проектировать решения для доступа и управления данными.
• Понимание бизнес-ценности продуктов данных.
• Опыт разработки программного обеспечения.
• Английский от B1.

Условия:

• Аутстафф проект.
• Занятость: фулл тайм.
• Локация: весь мир (удаленно).
• ЗП: от 240 до 350 тыс.
• Оформление: ИП (по СЗ при совместительстве).
• Грейд: middle+ и выше.

Навыки:

• Python
• Spark
• PySpark
• Databricks
• Unity Catalog
• Delta Lake
• Terraform
• SQL
• GCP
• AWS
• Jenkins
• GitLab CI
• CI/CD