Инженер по интеграции и разработке данных (Data Engineer) в TG @jobsearchhhhh удалённо

Инженер по интеграции и разработке данных в команду, занимающуюся BigData. Нужен специалист с опытом построения интеграционных решений на стеке Java/Groovy, Apache Nifi, Airflow, Hadoop, а также знанием SQL и реляционных БД.

Задачи:

• Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow).
• Определение стека технологий для конкретных проектов и задач.
• Оперативное реагирование на проблемы в зоне ответственности, выполнение задач в установленные сроки.
• Разработка и контроль актуальности документации по взаимодействию конфигурационных единиц платформы больших данных.
• Предоставление отчетов о своей деятельности руководству.
• Контроль качества интеграционных решений с последующим созданием задач/дефектов для рефакторинга.
• Определение технологической стратегии развития проекта или продукта.
• Выстраивание процессов (CI/CD, код-ревью), внедрение и развитие инженерных практик.

Требования:

• Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код.
• Сборка проекта, компиляция и деплой в Rancher (Docker).
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData.
• Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов).
• Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
• Умение работать с Git в консоли.
• Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.).
• Опыт работы с Hadoop.
• Понимание устройства HDFS, форматов данных.
• Опыт работы с Hive или любым другим хранилищем на основе Hadoop.
• Опыт использования систем ведения проектов и документации.
• Умение работать с архитектурными схемами.
• Понимание принципов построения и хранения данных — DWH и DataLake.
• Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.

Навыки:

• Java
• Groovy
• Docker
• Rancher
• SQL
• Oracle
• Postgres
• MySQL
• MsSQL
• DB2
• Git
• Apache Nifi
• Airflow
• SAP BW
• Talend
• Informatica
• SAS
• Hadoop
• HDFS
• Hive
• DWH
• DataLake
• Unix
• Linux
• Yarn
• Ranger
• Spark
• Zookeeper
• Zabbix
• Ansible