Инженер данных в Navio Москва

Каждый день наши автономные машины собирают терабайты данных, которые мы собираем и анализируем для улучшения и тестирования нашего ПО. Мы ищем человека, который поможет нам в этой задаче и будет заниматься разработкой пайплайнов обработки данных и добавлять в них новый функционал.

Вакансия подразумевает работу с большими объемами технических данных с использованием SQL, Dagster, Spark и polars/pandas где объемы данных позволяют.

Чем предстоит заниматься:

• Разработка пайплайнов обработки данных
• Формирование витрин с метриками
• Постановка на регламент алгоритмов расчета метрик функций беспилотного вождения

Что мы ждем от кандидата:

• Разработка на языке Python
• Хорошее знание SQL (на уровне джойнов и оконных функций)
• Был опыт обработки данных с использованием Python (Pandas/Polars)
• Знакомство со Spark и Airflow

Будет плюсом:

• Опыт работы с Clickhouse

• Опыт работы с Airflow/Luidgi/Dagster