elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch,elasticsearch,logstash,kibana,elastic-stack,elasticsearch,Logstash,Kibana,Elastic Stack" /> elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch,elasticsearch,logstash,kibana,elastic-stack,elasticsearch,Logstash,Kibana,Elastic Stack" />

elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch

elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch,elasticsearch,logstash,kibana,elastic-stack,elasticsearch,Logstash,Kibana,Elastic Stack,所以,基本上我有一个日志或一个文本文件,我想用ELK可视化。我能够在系统上设置elasticsearch和kibana。这是我的logstash配置文件 input { file { path => "G:/everything.log" start_position => "beginning" } } filter { } output { elasticsearch { hosts => ["localhost:9200"] index =&

所以,基本上我有一个日志或一个文本文件,我想用ELK可视化。我能够在系统上设置elasticsearch和kibana。这是我的logstash配置文件

input { file {
    path => "G:/everything.log"
    start_position => "beginning"
} }

filter {

}

output {
  elasticsearch { hosts => ["localhost:9200"]
  index => "example" }
  stdout { codec => rubydebug }
}
在浏览器中打开时,会显示以下内容

{
  "name" : "1rtH6q6",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "oicreqLyQ_iNiTrOQ0sYPQ",
  "version" : {
    "number" : "5.4.1",
    "build_hash" : "2cfe0df",
    "build_date" : "2017-05-29T16:05:51.443Z",
    "build_snapshot" : false,
    "lucene_version" : "6.5.1"
  },
  "tagline" : "You Know, for Search"
}
在执行GET/_cat/index?v&pretty之后,在我的kibana控制台中

health status index          uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   .kibana        fxFjIS55Q9-qAgqLlPE0Cw   1   1          2            0      6.3kb          6.3kb
yellow open   windows_events YUBWMzRpRTmEdu6E2UoCXg   5   1          2            0     12.6kb         12.6kb

请帮我解决这个问题

据我所知,您需要做几件事才能在Kibana中显示日志

1) 根据日志模式,必须编写适当的grok模式来解析日志文件。您还可以使用为日志编写grok模式

例如,对于Apache访问日志,grok模式将是

   filter {
      grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
      }
      date {
        match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
      }
    }
我建议你读一下这个

一旦日志文件解析正确,您将看到数据将在
示例
Elasticsearch索引上建立索引

对于验证数据,您可以使用下面的get命令

 curl -XGET 'localhost:9200/example/_search'
2) 在下一步中,您必须在kibana中配置默认的Elasticsearch索引模式。参考阅读这些参考资料


不清楚您的问题是什么。你想达到什么目的?好的,我基本上想用ELK在日志文件中可视化我的错误日志……如果可能的话,请帮助我一步一步打开Kibana会发生什么?它要求创建一个新的索引模式,然后用索引的名称创建一个(
windows\u events
?)如何检查我的日志文件是否正确解析?更新了我的答案,如果您的日志文件正确解析,那么您的数据将在Elasticsearch中索引。好的。。。。。。所以基本上我的日志文件是这样的形式[06-19 14:47:48]p224{ArduinoCommunicator.py:126}DEBUG-10,0,0,0,0,0[06-19 14:47:48]p224{ArduinoCommunicator.py:162}INFO-[10,0,0,0,0,0,0,0,0,0,0,1]p224{ArduinoCommunicator.py:128}调试-验证收到的元组[06-19 14:47:48]p224{ArduinoCommunicator.py:131}调试-[10',0',0',0',0'][06-19 14:47:48]p224{ArduinoCommunicator.py:126}调试-10,0,0,0,0好的,我的日志文件格式非常原始。。。。。。在将其简化为简单的日志格式后,我能够实现它。。。。非常感谢你!很高兴它帮助了你!