DataOps в Медиалогия Москва

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа.

Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.

Что предстоит делать:

• Обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования.
• Проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки.
• Управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность.
• Настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch).
• Управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных.
• Настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR).
• Выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных.

Наш стэк:

• БД: PostgreSQL, MySQL, Clickhouse.
• Очереди и брокеры: Kafka, RabbitMQ.
• BigData & ETL: Hadoop, Apache NiFi, Airflow.
• Смежные системы: Redis, Elasticsearch, MinIO.

Требования к кандидату

• Глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical).
• Реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров).
• Опыт работы с Clickhouse (шардирование, репликация, движки таблиц).
• Уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки баз данных).
• Опыт настройки высокодоступных (HA) конфигураций для БД (Patroni, PXC и т.д.).
  
  Будет плюсом:
• Опыт эксплуатации стека Hadoop (HDFS, YARN) и инструментов ETL (Apache NiFi).
• Навыки работы с Elasticsearch (управление индексами, ILM, масштабирование кластера).
• Опыт деплоя стейтфул-приложений (баз данных, очередей) внутри Kubernetes с использованием Operators.
• Навыки написания Ansible-ролей для автоматизации раскатки БД.
• Умение писать скрипты на Python или Bash для автоматизации рутинных задач DBA.

Условия:

• ДМС после испытательного срока;
• специальные условия для сотрудников на страхование для членов семьи;
• скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое);
• бесплатное онлайн-обучение на корпоративном портале и корпоративная библиотека;
• офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»).