elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果,elasticsearch,logstash,kibana,logstash-grok,filebeat,elasticsearch,Logstash,Kibana,Logstash Grok,Filebeat" /> elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果,elasticsearch,logstash,kibana,logstash-grok,filebeat,elasticsearch,Logstash,Kibana,Logstash Grok,Filebeat" />

elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果

elasticsearch 我不知道';在Kibana看不到我的Logstash过滤器的结果,elasticsearch,logstash,kibana,logstash-grok,filebeat,elasticsearch,Logstash,Kibana,Logstash Grok,Filebeat,我已经使用:elasticsearch logstash filebeat kibana成功地设置了集中式日志记录系统 我在Kibana中看不到使用filebeat模板索引的日志。当我试图创建一个日志存储过滤器以正确解析日志文件时,问题就出现了 我使用的是grok模式,所以我创建的第一个模式(/opt/logstash/patterns/grok patterns): 这是logstash过滤器(/etc/logstash/conf.d/11 log filter.conf): 显然,当我从命令

我已经使用:elasticsearch logstash filebeat kibana成功地设置了集中式日志记录系统

我在Kibana中看不到使用filebeat模板索引的日志。当我试图创建一个日志存储过滤器以正确解析日志文件时,问题就出现了

我使用的是grok模式,所以我创建的第一个模式(/opt/logstash/patterns/grok patterns):

这是logstash过滤器(/etc/logstash/conf.d/11 log filter.conf):

显然,当我从命令行测试解析器时,它工作正常:

[root@XXXXX logstash]# bin/logstash -f test.conf 
Settings: Default pipeline workers: 4
Logstash startup completed

2016-06-03 12:55:57,718 - root - INFO - [27232][service][751282714902528] - here goes my message

{
   "message" => "here goes my message",
  "@version" => "1",
"@timestamp" => "2016-06-03T11:55:57.718Z",
      "host" => "19598",
 "timestamp" => "2016-06-03 12:55:57,718",
      "auth" => "root",
  "loglevel" => "INFO",
      "pyid" => "27232",
    "source" => "service",
  "searchId" => "751282714902528"
 }
然而。。。日志没有出现在Kibana中,我甚至没有看到“_grokparsefailure”tasg,因此我认为解析器正在工作,但我可以找到日志

我做错了什么?我忘了什么吗

提前谢谢

编辑

输入(02 beats Input.conf):

输出(30 elasticsearch Output.conf):


你能同时发布你的输入和输出吗?编辑和添加的输入和输出如果你使用Filebeat将数据发送到Logstash,那么你最终将使用Logstash模板(
Logstash-*
)而不是Filebeat模板。但是你在更新的ES输出中设置了
索引(
index
),所以这是可疑的。调试日志存储的一个技巧是添加
stdout{}
作为额外输出。如果它从不打印任何内容,那么您实际上就不会得到输出。实际上,我使用logstash-*索引看不到任何内容。您可以发布您的输入和输出吗?编辑并添加输入和输出如果您使用Filebeat将数据发送到logstash,那么您将使用logstash模板(
logstash-*
)而不是Filebeat。但是您在更新的ES输出中设置了
索引(键入时我没有注意到),因此这是可疑的。调试日志存储的一个技巧是添加
stdout{}
作为额外输出。如果它从不打印任何内容,那么您实际上就不会得到输出。实际上,我无法使用logstash-*索引看到任何内容
filter {
  if [type] == "log" {
    grok {
       match => { "message" => "%{CUSTOMLOG}" }
       patterns_dir => "/opt/logstash/patterns"
    }
    mutate {
       rename => [ "logmessage", "message" ]
    }

    date {
        timezone => "Europe/London"
        locale => "en"
        match => [ "timestamp" , "yyyy-MM-dd HH:mm:ss,SSS" ]
    }
 }}
[root@XXXXX logstash]# bin/logstash -f test.conf 
Settings: Default pipeline workers: 4
Logstash startup completed

2016-06-03 12:55:57,718 - root - INFO - [27232][service][751282714902528] - here goes my message

{
   "message" => "here goes my message",
  "@version" => "1",
"@timestamp" => "2016-06-03T11:55:57.718Z",
      "host" => "19598",
 "timestamp" => "2016-06-03 12:55:57,718",
      "auth" => "root",
  "loglevel" => "INFO",
      "pyid" => "27232",
    "source" => "service",
  "searchId" => "751282714902528"
 }
input {
  beats {
    port => 5044
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}
output {
 elasticsearch {
   hosts => ["localhost:9200"]
   sniffing => true
   manage_template => false
   index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
   document_type => "%{[@metadata][type]}"
 }
}