Что такое ELK

ELK — это стек технологий для сбора, хранения и анализа логов, состоящий из трех основных компонентов:

1. Elasticsearch — распределенная поисковая и аналитическая система на основе NoSQL. Хранит данные в индексированном виде, позволяет быстро искать и анализировать большие объемы информации.

2. Logstash — инструмент для обработки и трансформации данных. Принимает логи из разных источников, парсит, фильтрует и отправляет в Elasticsearch.

3. Kibana — веб-интерфейс для визуализации данных из Elasticsearch. Позволяет строить дашборды, графики и выполнять аналитические запросы.

Пример конфигурации Logstash для обработки логов:

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs-%{+YYYY.MM.dd}"
  }
}

Современные версии стека также включают Beats (легкие агенты для сбора данных) и переименованы в Elastic Stack.