Data Engineer (со знанием Java или Groovy) в WILIX удалённо

Data Engineer в аккредитованную IT-компанию WILIX для работы на внешних проектах в финтехе, ритейле и эдтехе. Проектирование и разработка потоков данных, витрин и развитие архитектуры DWH.

Задачи:

• Разработка программного кода и тестирование
• Проектирование и разработка потоков данных на ETL/ELT инструментах
• Имплементация кастомных трансформаций
• Проектирование и построение прототипов, витрин
• Анализ производительности, масштабирование существующих систем
• Оптимизация SQL запросов и структур баз данных
• Разработка процедур на языке PL/pgSQL
• Развитие архитектуры DWH, анализ и выбор оптимальных технологий, методологий, инструментов
• Создание и актуализация базы знаний для пользователей DWH

Требования:

• Знание принципов построения хранилищ данных
• Опыт работы с экосистемой Hadoop, навыки Data Engineer, HDFS/Hive (HDFS/YARN/Spark/Kafka/Nifi/Sqoop/Flume и т.д.)
• Знание SQL (DDL, DML), опыт оптимизации запросов
• Опыт работы с Greenplum и PostgreSQL
• Знание Java/Groovy
• Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем
• Опыт администрирования Hadoop/Linux

Условия:

• Интересные и разнообразные проекты
• Возможности карьерного и профессионального роста
• Работа в энергичной молодой команде, готовой обмениваться опытом

Навыки:

• Java
• Groovy
• SQL
• PL/pgSQL
• Hadoop
• HDFS
• Hive
• YARN
• Spark
• Kafka
• Nifi
• Sqoop
• Flume
• Greenplum
• PostgreSQL
• Linux
• ETL
• ELT
• DWH