Logstash 日志中丢失的数据?
logstash版本5.0中的数据丢失很多, 这是一个严重的错误,当一个配置文件多次访问配置文件时,它是无用的,数据丢失再次发生,如何使用logstash来收集日志事件属性Logstash 日志中丢失的数据?,logstash,elastic-stack,Logstash,Elastic Stack,logstash版本5.0中的数据丢失很多, 这是一个严重的错误,当一个配置文件多次访问配置文件时,它是无用的,数据丢失再次发生,如何使用logstash来收集日志事件属性 任何回复都将是感谢Logstash都是关于从特定位置读取日志的,并且基于您感兴趣的信息,您可以在弹性搜索中创建索引或其他可能的输出。 logstash conf示例 input { file { # PLEASE SET APPROPRIATE PATH WHERE LOG FILE AVAILABLE #
任何回复都将是感谢Logstash都是关于从特定位置读取日志的,并且基于您感兴趣的信息,您可以在弹性搜索中创建索引或其他可能的输出。 logstash conf示例
input {
file {
# PLEASE SET APPROPRIATE PATH WHERE LOG FILE AVAILABLE
#type => "java"
type => "json-log"
path => "d:/vox/logs/logs/vox.json"
start_position => "beginning"
codec => json
}
}
filter {
if [type] == "json-log" {
grok {
match => { "message" => "UserName:%{JAVALOGMESSAGE:UserName} -DL_JobID:%{JAVALOGMESSAGE:DL_JobID} -DL_EntityID:%{JAVALOGMESSAGE:DL_EntityID} -BatchesPerJob:%{JAVALOGMESSAGE:BatchesPerJob} -RecordsInInputFile:%{JAVALOGMESSAGE:RecordsInInputFile} -TimeTakenToProcess:%{JAVALOGMESSAGE:TimeTakenToProcess} -DocsUpdatedInSOLR:%{JAVALOGMESSAGE:DocsUpdatedInSOLR} -Failed:%{JAVALOGMESSAGE:Failed} -RecordsSavedInDSE:%{JAVALOGMESSAGE:RecordsSavedInDSE} -FileLoadStartTime:%{JAVALOGMESSAGE:FileLoadStartTime} -FileLoadEndTime:%{JAVALOGMESSAGE:FileLoadEndTime}" }
add_field => ["STATS_TYPE", "FILE_LOADED"]
}
}
}
filter {
mutate {
# here converting data type
convert => { "FileLoadStartTime" => "integer" }
convert => { "RecordsInInputFile" => "integer" }
}
}
output {
elasticsearch {
# PLEASE CONFIGURE ES IP AND PORT WHERE LOG DOCs HAS TO PUSH
document_type => "json-log"
hosts => ["localhost:9200"]
# action => "index"
# host => "localhost"
index => "locallogstashdx_new"
# workers => 1
}
stdout { codec => rubydebug }
#stdout { debug => true }
}
要了解更多信息,您可以访问许多可用的网站,如
请添加更多详细信息,以便社区帮助您。