Как разобраться в проблеме, если все логи смешаны в Logstash

Для анализа смешанных логов в Logstash можно использовать фильтры и теги. Вот основные шаги:

1. Grok-фильтры - разбираем строки логов по шаблонам:

filter {
  grok {
    match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
  }
}

2. Условные фильтры - разделяем логи по признакам:

filter {
  if [message] =~ /error/i {
    mutate { add_tag => ["error"] }
  }
}

3. Парсинг мультилайн-логов - для стектрейсов:

filter {
  multiline {
    pattern => "^%{TIMESTAMP_ISO8601}"
    what => "previous"
  }
}

4. Использование тегов - для маркировки и последующей фильтрации:

output {
  if "error" in [tags] {
    elasticsearch { ... }
  }
}

Дополнительно полезно:

• Настроить разные индексы Elasticsearch для разных типов логов
• Использовать поле type для классификации логов
• Применять conditional processing для сложных случаев