Опубликовано 12 октября 2025 г.
Junior Data Engineer
удаленно
- Авиастатс – продукт внутри Авиасейлс, суть которого заключается в продаже клиентам данных о ценах, поисках и пассажиропотоке.
В отличие от классического DWH, который обычно стоит немного в стороне, Авиастатс – это B2B продукт, поэтому есть возможность быть близко к бизнес-требованиям, решать актуальные задачи и имплементить требования клиентов с минимальным лагом. При этом, рядом всегда есть команда дата инженеров, которая занимается хранилищем Авиасейлс, к которым можно сходить за советом.
Наш стек:
— Python 3.8+, но для загрузки данных из Kafka используется Flink;
— Airflow в качестве основного оркестратора, переносим туда задачи из старого самописного оркестратора (на Python);
— Amazon S3 для хранения данных и Athena для работы с ними;
— Apache Impala в качестве основного аналитического хранилища, поверх которого работает часть витрин. Мы в процессе переезда с Impala и в будущем мы уйдем от ее использования, полностью заменив на S3 и Athena;
— Redash в качестве инструмента визуализации, но это, скорее всего, тоже изменится.
Что нужно будет делать:
— разовые кастомные выгрузки по запросу;
— повторные выгрузки данных, которые должны были отправиться / которые отправились, но оказались некорректными;
— отвечать клиентам на вопросы о корректности данных;
— дорабатывать существующие экспортеры (регулярные выгрузки);
— дежурить (что-то упало, поднять, починить) в рабочее время.
Что мы ждем от тебя:
— опыт работы в роли Python разработчика или Data Engineer от года, отличные навыки ООП;
— знание SQL;
— теоретические знания о системах оркестрации, знания или опыт с облачными сервисами будет плюсом.
Как мы работаем:
— в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
— без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
— компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
— на райском острове: можно работать на Пхукете с видом на океан.
Авиасейлс
Удалённо