Data Engineer в deeplay удалённо

Data Engineer в компанию deeplay. Поддержка и развитие дата-пайплайнов, работа с ClickHouse и PostgreSQL, анализ данных.

Задачи:

• Поддержка текущего функционала продукта.
• Расширение и развитие функционала действующего продукта.
• Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез.
• Создание и поддержка новых дата-пайплайнов.
• Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов.
• Анализ, подготовка и обработка данных.
• Обеспечение качества данных.

Требования:

• Опыт работы в аналогичной роли от 3 лет
• знание теории реляционных БД, понимание логической, физической моделей БД
• опыт оптимизации сложных запросов
• опыт поиска проблем в работающих под высокой нагрузкой системах
• Опыт создания и поддержки ETL-процессов
• Глубокий практический опыт разработки на Python (pandas, numpy)
• Опыт работы с Apache Airflow, самостоятельное создание DAG
• Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов
• Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата
• Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения

Навыки:

• PostgreSQL
• ClickHouse
• Python
• Apache Airflow
• GitHub
• Docker
• Kubernetes
• Java
• Swing
• gRPC
• jdbc
• ExecutorService
• CompletableFuture
• Mockito
• JUnit
• pandas
• numpy
• SQL