elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log
我用Kibana7.11.1和logstash设置了一个服务器。 我是新来基巴纳的所以。。我为任何错误提前道歉:) 我有另一台配置了filebeat的服务器,它将数据发送到logstash 我可以在kibana中正确地看到该数据,但event.dataset是空的。我想自己定 通过阅读,我注意到我可以在logstash配置中设置它。但这将为正在进行日志存储的所有日志添加相同的值。但是我想为不同类型的日志文件添加不同的值 我尝试在filebeat.yml中的elasticsearch 如何为filebeat到logstash正确配置不同的event.dataset per log,elasticsearch,logstash,kibana,filebeat,elasticsearch,Logstash,Kibana,Filebeat,我用Kibana7.11.1和logstash设置了一个服务器。 我是新来基巴纳的所以。。我为任何错误提前道歉:) 我有另一台配置了filebeat的服务器,它将数据发送到logstash 我可以在kibana中正确地看到该数据,但event.dataset是空的。我想自己定 通过阅读,我注意到我可以在logstash配置中设置它。但这将为正在进行日志存储的所有日志添加相同的值。但是我想为不同类型的日志文件添加不同的值 我尝试在filebeat.yml中的字段下设置事件.dataset,但它没有
字段下设置事件.dataset
,但它没有出现在kibana上。我想这些是自定义变量,不是设置event.dataset
的正确方法
一般来说,我有在pm2下运行的服务,所以我想将event.dataset
设置为包含pm2..
这是我在filebeat.yml中的输入配置:
- type: log
enabled: true
paths:
- /home/ubuntu/.pm2/*-error-*log
fields:
level: error
- type: log
enabled: true
paths:
- /home/ubuntu/.pm2/logs/cdr-ftp-out*log
这是我的日志存储配置:
input {
beats {
port => 5544
}
}
filter {
grok {
match => {"message"=>"%{DATESTAMP:timestamp} \[%{LOGLEVEL:loglevel}\]: %{GREEDYDATA:msg}"}
}
mutate {
rename => ["host", "server"]
convert => {"server" => "string"}
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
}
}
如何妥善解决这个问题?
谢谢正确的方法如下:
- type: log
enabled: true
paths:
- /home/ubuntu/.pm2/*-error-*log
fields:
level: error
event.dataset: dataset1 <--- add this
fields_under_root: true <--- add this
- type: log
enabled: true
fields:
event.dataset: dataset2 <--- add this
fields_under_root: true <--- add this
paths:
- /home/ubuntu/.pm2/logs/cdr-ftp-out*log
-类型:日志
已启用:true
路径:
-/home/ubuntu/.pm2/*-错误-*日志
领域:
级别:错误
event.dataset:dataset1