elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果
我已经使用:elasticsearch logstash filebeat kibana成功地设置了集中式日志记录系统 我在Kibana中看不到使用filebeat模板索引的日志。当我试图创建一个日志存储过滤器以正确解析日志文件时,问题就出现了 我使用的是grok模式,所以我创建的第一个模式(/opt/logstash/patterns/grok patterns): 这是logstash过滤器(/etc/logstash/conf.d/11 log filter.conf): 显然,当我从命令行测试解析器时,它工作正常:
elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果,
elasticsearch,logstash,kibana,logstash-grok,filebeat,
elasticsearch,Logstash,Kibana,Logstash Grok,Filebeat,我已经使用:elasticsearch logstash filebeat kibana成功地设置了集中式日志记录系统 我在Kibana中看不到使用filebeat模板索引的日志。当我试图创建一个日志存储过滤器以正确解析日志文件时,问题就出现了 我使用的是grok模式,所以我创建的第一个模式(/opt/logstash/patterns/grok patterns): 这是logstash过滤器(/etc/logstash/conf.d/11 log filter.conf): 显然,当我从命令
[root@XXXXX logstash]# bin/logstash -f test.conf
Settings: Default pipeline workers: 4
Logstash startup completed
2016-06-03 12:55:57,718 - root - INFO - [27232][service][751282714902528] - here goes my message
{
"message" => "here goes my message",
"@version" => "1",
"@timestamp" => "2016-06-03T11:55:57.718Z",
"host" => "19598",
"timestamp" => "2016-06-03 12:55:57,718",
"auth" => "root",
"loglevel" => "INFO",
"pyid" => "27232",
"source" => "service",
"searchId" => "751282714902528"
}
然而。。。日志没有出现在Kibana中,我甚至没有看到“_grokparsefailure”tasg,因此我认为解析器正在工作,但我可以找到日志
我做错了什么?我忘了什么吗
提前谢谢
编辑
输入(02 beats Input.conf):
输出(30 elasticsearch Output.conf):
你能同时发布你的输入和输出吗?编辑和添加的输入和输出如果你使用Filebeat将数据发送到Logstash,那么你最终将使用Logstash模板(
Logstash-*
)而不是Filebeat模板。但是你在更新的ES输出中设置了索引(index
),所以这是可疑的。调试日志存储的一个技巧是添加stdout{}
作为额外输出。如果它从不打印任何内容,那么您实际上就不会得到输出。实际上,我使用logstash-*索引看不到任何内容。您可以发布您的输入和输出吗?编辑并添加输入和输出如果您使用Filebeat将数据发送到logstash,那么您将使用logstash模板(logstash-*
)而不是Filebeat。但是您在更新的ES输出中设置了索引(键入时我没有注意到),因此这是可疑的。调试日志存储的一个技巧是添加stdout{}
作为额外输出。如果它从不打印任何内容,那么您实际上就不会得到输出。实际上,我无法使用logstash-*索引看到任何内容
filter {
if [type] == "log" {
grok {
match => { "message" => "%{CUSTOMLOG}" }
patterns_dir => "/opt/logstash/patterns"
}
mutate {
rename => [ "logmessage", "message" ]
}
date {
timezone => "Europe/London"
locale => "en"
match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss,SSS" ]
}
}}
[root@XXXXX logstash]# bin/logstash -f test.conf
Settings: Default pipeline workers: 4
Logstash startup completed
2016-06-03 12:55:57,718 - root - INFO - [27232][service][751282714902528] - here goes my message
{
"message" => "here goes my message",
"@version" => "1",
"@timestamp" => "2016-06-03T11:55:57.718Z",
"host" => "19598",
"timestamp" => "2016-06-03 12:55:57,718",
"auth" => "root",
"loglevel" => "INFO",
"pyid" => "27232",
"source" => "service",
"searchId" => "751282714902528"
}
input {
beats {
port => 5044
ssl => true
ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
sniffing => true
manage_template => false
index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}