Lead Data Platform Engineer в Агентство BrainShels Москва

Инженер, который возьмёт на себя архитектуру и развитие единой платформы данных для генетических исследований. Оркестрация многоэтапных пайплайнов, self-service инструменты, мультитенантность и работа с data-intensive нагрузками.

Задачи:

• Проектировать масштабируемую, отказоустойчивую и производительную архитектуру единой платформы данных
• Разрабатывать и сопровождать техническую дорожную карту, синхронизированную с бизнес-целями и потребностями исследователей
• Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных
• Разрабатывать ключевые компоненты: панель управления, оркестраторы, агенты, API, SDK
• Создавать self-service инструменты для автономного запуска, мониторинга и контроля пайплайнов
• Обеспечивать мультитенантность, разграничение доступа и аудит-логирование
• Гарантировать целостность, надёжность и безопасность данных на всех этапах
• Оптимизировать вычислительные и storage-ресурсы: capacity planning, performance benchmarking, устранение узких мест
• Развивать observability: мониторинг, APM, алертинг
• Формировать технические стандарты команды: архитектурные принципы, code review, требования к документации
• Систематизировать процессы разработки и унифицировать технологический стек

Требования:

• Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes
• Понимание архитектурных компромиссов: оркестрация, хранение, доступ, мониторинг, и умение выбирать решение под конкретную нагрузку
• Уверенное владение Python
• Опыт разработки бэкенд-сервисов и API на FastAPI
• Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и аналоги
• Понимание HTC/HPC-систем
• Опыт с распределёнными хранилищами: Ceph (CephFS), S3-совместимые
• Понимание объектного и файлового хранения для data-intensive нагрузок: производительность, масштабируемость, модели доступа
• Опыт построения CI/CD в GitLab (тестирование, сборка, деплой сервисов платформы)
• Способность принимать и аргументировать системные архитектурные решения, увязывая надёжность, производительность и стоимость
• Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации

Условия:

• Оформление по ТК РФ
• Достойный уровень ЗП, обсуждается индивидуально по навыкам
• Быстрорастущая, стабильная организация, которой не страшен кризис
• Команда профессионалов на стыке передовых IT и науки
• Только современное оборудование для работы
• Возможности для профессионального роста и обучения
• График 5/2 в офисе в Москве, после испытательного срока возможен гибрид

Навыки:

• Python
• FastAPI
• Kubernetes
• Airflow
• Dagster
• Ceph
• CephFS
• S3
• GitLab CI/CD
• HTC
• HPC
• Go
• Slurm
• Singularity
• Apptainer