elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch
所以,基本上我有一个日志或一个文本文件,我想用ELK可视化。我能够在系统上设置elasticsearch和kibana。这是我的logstash配置文件elasticsearch 如何将logstash中的log/txt文件管道化到elasticsearch,elasticsearch,logstash,kibana,elastic-stack,elasticsearch,Logstash,Kibana,Elastic Stack,所以,基本上我有一个日志或一个文本文件,我想用ELK可视化。我能够在系统上设置elasticsearch和kibana。这是我的logstash配置文件 input { file { path => "G:/everything.log" start_position => "beginning" } } filter { } output { elasticsearch { hosts => ["localhost:9200"] index =&
input { file {
path => "G:/everything.log"
start_position => "beginning"
} }
filter {
}
output {
elasticsearch { hosts => ["localhost:9200"]
index => "example" }
stdout { codec => rubydebug }
}
在浏览器中打开时,会显示以下内容
{
"name" : "1rtH6q6",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "oicreqLyQ_iNiTrOQ0sYPQ",
"version" : {
"number" : "5.4.1",
"build_hash" : "2cfe0df",
"build_date" : "2017-05-29T16:05:51.443Z",
"build_snapshot" : false,
"lucene_version" : "6.5.1"
},
"tagline" : "You Know, for Search"
}
在执行GET/_cat/index?v&pretty之后,在我的kibana控制台中
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana fxFjIS55Q9-qAgqLlPE0Cw 1 1 2 0 6.3kb 6.3kb
yellow open windows_events YUBWMzRpRTmEdu6E2UoCXg 5 1 2 0 12.6kb 12.6kb
请帮我解决这个问题据我所知,您需要做几件事才能在Kibana中显示日志 1) 根据日志模式,必须编写适当的grok模式来解析日志文件。您还可以使用为日志编写grok模式 例如,对于Apache访问日志,grok模式将是
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
我建议你读一下这个
一旦日志文件解析正确,您将看到数据将在示例Elasticsearch索引上建立索引
对于验证数据,您可以使用下面的get命令
curl -XGET 'localhost:9200/example/_search'
2) 在下一步中,您必须在kibana中配置默认的Elasticsearch索引模式。参考阅读这些参考资料
- 李>
不清楚您的问题是什么。你想达到什么目的?好的,我基本上想用ELK在日志文件中可视化我的错误日志……如果可能的话,请帮助我一步一步打开Kibana会发生什么?它要求创建一个新的索引模式,然后用索引的名称创建一个(windows\u events
?)如何检查我的日志文件是否正确解析?更新了我的答案,如果您的日志文件正确解析,那么您的数据将在Elasticsearch中索引。好的。。。。。。所以基本上我的日志文件是这样的形式[06-19 14:47:48]p224{ArduinoCommunicator.py:126}DEBUG-10,0,0,0,0,0[06-19 14:47:48]p224{ArduinoCommunicator.py:162}INFO-[10,0,0,0,0,0,0,0,0,0,0,1]p224{ArduinoCommunicator.py:128}调试-验证收到的元组[06-19 14:47:48]p224{ArduinoCommunicator.py:131}调试-[10',0',0',0',0'][06-19 14:47:48]p224{ArduinoCommunicator.py:126}调试-10,0,0,0,0好的,我的日志文件格式非常原始。。。。。。在将其简化为简单的日志格式后,我能够实现它。。。。非常感谢你!很高兴它帮助了你!