elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat" /> elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat" />

elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log

elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat,我用Kibana7.11.1和logstash设置了一个服务器。 我是新来基巴纳的所以。。我为任何错误提前道歉:) 我有另一台配置了filebeat的服务器,它将数据发送到logstash 我可以在kibana中正确地看到该数据,但event.dataset是空的。我想自己定 通过阅读,我注意到我可以在logstash配置中设置它。但这将为正在进行日志存储的所有日志添加相同的值。但是我想为不同类型的日志文件添加不同的值 我尝试在filebeat.yml中的字段下设置事件.dataset,但它没有

我用Kibana7.11.1和logstash设置了一个服务器。 我是新来基巴纳的所以。。我为任何错误提前道歉:)

我有另一台配置了filebeat的服务器,它将数据发送到logstash

我可以在kibana中正确地看到该数据,但event.dataset是空的。我想自己定

通过阅读,我注意到我可以在logstash配置中设置它。但这将为正在进行日志存储的所有日志添加相同的值。但是我想为不同类型的日志文件添加不同的值

我尝试在filebeat.yml中的
字段下设置
事件.dataset
,但它没有出现在kibana上。我想这些是自定义变量,不是设置
event.dataset
的正确方法

一般来说,我有在pm2下运行的服务,所以我想将
event.dataset
设置为包含
pm2..

这是我在filebeat.yml中的输入配置:

- type: log
  enabled: true
  paths:
    - /home/ubuntu/.pm2/*-error-*log
  fields:
   level: error
- type: log
  enabled: true
  paths:
    - /home/ubuntu/.pm2/logs/cdr-ftp-out*log
这是我的日志存储配置:

input {
    beats {
        port => 5544
    }
}
filter {
 grok {
   match => {"message"=>"%{DATESTAMP:timestamp} \[%{LOGLEVEL:loglevel}\]: %{GREEDYDATA:msg}"} 
 }
mutate {
    rename => ["host", "server"]
    convert => {"server" => "string"}
}
}

output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
    }
}
如何妥善解决这个问题?


谢谢

正确的方法如下:

- type: log
  enabled: true
  paths:
    - /home/ubuntu/.pm2/*-error-*log
  fields:
    level: error
    event.dataset: dataset1                   <--- add this
  fields_under_root: true                     <--- add this
- type: log
  enabled: true
  fields:
    event.dataset: dataset2                   <--- add this
  fields_under_root: true                     <--- add this
  paths:
    - /home/ubuntu/.pm2/logs/cdr-ftp-out*log
-类型:日志
已启用:true
路径:
-/home/ubuntu/.pm2/*-错误-*日志
领域:
级别:错误
event.dataset:dataset1