Logstash 日志存储导致数据丢失
我使用Logstash来处理我的web日志,但是我发现了一个关于数据丢失的问题 现在我有100行日志。我通过Logstash处理后得到的结果有时少于100行。奇怪的是它没有显示任何错误消息 以下代码是我的Logstash配置:Logstash 日志存储导致数据丢失,logstash,logstash-grok,logstash-configuration,Logstash,Logstash Grok,Logstash Configuration,我使用Logstash来处理我的web日志,但是我发现了一个关于数据丢失的问题 现在我有100行日志。我通过Logstash处理后得到的结果有时少于100行。奇怪的是它没有显示任何错误消息 以下代码是我的Logstash配置: input { file { path => "/home/jhowliu/Work/Log/201506/testing.log" start_position => "beginning" since
input {
file {
path => "/home/jhowliu/Work/Log/201506/testing.log"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
columns => ["ip", "time", "request", "status", "refer", "browser"]
}
grok {
match => {
"time" => "%{MONTHDAY:day}/%{MONTH:month}/%{YEAR:year}:%{TIME:time}"
}
overwrite => ["time"]
}
mutate {
replace => {"time" =>"%{day}-%{month}-%{year} %{time}" }
}
if [request] != "-" {
grok {
match => {
"request" => "%{URIPATH:dest_path}"
}
}
}
if [refer] != "-" {
grok {
match => {
"refer" => "%{URIHOST}%{URIPATH:source_path}"
}
}
}
}
output {
csv {
fields => ["time", "ip", "dest_path", "source_path", "status"]
path => "/home/jhowliu/testing.log"
}
}
没有处理的行有什么有趣的地方吗?你试过打开调试吗?嗨,阿兰,我检查过这类问题,我以为不是一些行没有得到处理。因为我使用了相同的日志文件,有时候我得到了100行,有时候我得到了不到100行。我将在调试中尝试这一过程。对于没有得到处理的行,有什么有趣的地方吗?你试过打开调试吗?嗨,阿兰,我检查过这类问题,我以为不是一些行没有得到处理。因为我使用了相同的日志文件,有时候我得到了100行,有时候我得到了不到100行。我会在调试下试试这个进度。