Data Engineer в deeplay Москва

Data Engineer Middle в продуктовую IT-компанию. Развитие и поддержка дата-пайплайнов, работа с PostgreSQL и ClickHouse, анализ данных.

Задачи:

• Поддержка текущего функционала продукта
• Расширение и развитие функционала действующего продукта
• Анализ логов, данных, выстраивание логических цепочек, построение и проверка гипотез
• Создание и поддержка новых дата-пайплайнов
• Работа с Clickhouse. Написание и оптимизация средних/сложных SQL запросов
• Анализ, подготовка и обработка данных
• Обеспечение качества данных

Требования:

• Опыт работы в аналогичной роли от 3 лет
• Знание теории реляционных БД, понимание логической, физической моделей БД
• Опыт оптимизации сложных запросов
• Опыт поиска проблем в работающих под высокой нагрузкой системах
• Опыт создания и поддержки ETL-процессов
• Глубокий практический опыт разработки на Python (pandas, numpy)
• Опыт работы с Apache Airflow, самостоятельное создание DAG
• Опыт работы с СУБД Clickhouse, написание средних/сложных и нетривиальных SQL-запросов
• Умение самостоятельно брать задачи, по необходимости уточнять требования и доводить до финального результата
• Навык поиска оптимальных решений: умение работать в условиях неопределенности, формулировать вопросы и предлагать решения
• PostgreSQL: глубокое знание системных каталогов, статистики, индексов, партиционирование, наследование, foreign tables, EXPLAIN ANALYZE, cost model, pg_stat_statements, pg_stat_activity, pg_locks, индексные стратегии, lock monitoring
• SQL: сложные запросы с CTE, window functions, lateral joins, динамический SQL, хранимые процедуры, триггеры, функции, query rewriting, понимание планов выполнения

Условия:

• Гибкий подход к формату и месту работы — выбирай любое место на карте или один из комфортных офисов в Омске, Новосибирске и Санкт-Петербурге
• Корпоративную культуру: общаемся на равных, поддерживаем друг друга, ценим обратную связь и инициативность, легкость общения и юмор
• Возможность влиять на процессы: если увидишь потенциал для улучшения, сможешь воплотить свои идеи, повысить эффективность и качество продукта
• Стать частью команды, которая находит драйв в своих задачах и стремится к технологическому лидерству в индустрии
• Доступность руководства компании и открытую внутреннюю политику
• Оценка компетенций и составление индивидуального плана для прокачки твоих скилов
• Ежегодный перфоманс ревью с полезными рекомендациями от команды и возможностью увидеть свои достижения глазами тиммейтов
• Частичная компенсация затрат на обучение
• Изучение английского языка для всех желающих 2 раза в неделю
• Доступ к корпоративной офлайн и онлайн-библиотеке
• Регулярные шаринги знаний, хакатоны, митапы, трансляции, турниры
• Открыто делимся новостями о развитии компании: регулярно проводим интервью и внутренние бизнес-мероприятия с руководителями и экспертами deeplay
• Работаем из любой точки мира, но всё равно не теряем связь с командой — помогают в этом командообразующие мероприятия: живое общение, новые локации и настоящие эмоции
• Поддерживаем актуальное внутреннее информирование: систематически публикуем дайджесты о стратегии, продуктах и технологиях компании
• Развиваем тематические комьюнити: проводим командные и личные турниры, участвуем в квизах/мозгобойнях, спортивных челленджах
• Оказываем спонсорскую помощь профильным факультетам, выступаем с технической экспертизой на внешних мероприятиях, создаём собственные образовательные проекты

Навыки:

• SQL
• PostgreSQL
• Python
• ClickHouse
• Apache Airflow
• GitHub
• Docker
• Kubernetes
• Java
• Swing
• gRPC
• jdbc
• ExecutorService
• CompletableFuture
• Mockito
• JUnit
• pandas
• numpy
• Bash
• Linux
• systemd
• cron
• Ansible
• Terraform
• Jupyter
• pgBadger
• PgBouncer