Logstash 日志存储导致数据丢失

Logstash 日志存储导致数据丢失,logstash,logstash-grok,logstash-configuration,Logstash,Logstash Grok,Logstash Configuration,我使用Logstash来处理我的web日志,但是我发现了一个关于数据丢失的问题 现在我有100行日志。我通过Logstash处理后得到的结果有时少于100行。奇怪的是它没有显示任何错误消息 以下代码是我的Logstash配置: input { file { path => "/home/jhowliu/Work/Log/201506/testing.log" start_position => "beginning" since

我使用Logstash来处理我的web日志,但是我发现了一个关于数据丢失的问题

现在我有100行日志。我通过Logstash处理后得到的结果有时少于100行。奇怪的是它没有显示任何错误消息

以下代码是我的Logstash配置:

input {
    file {
        path => "/home/jhowliu/Work/Log/201506/testing.log"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

filter {
    csv {
        columns => ["ip", "time", "request", "status", "refer", "browser"]
    }

    grok {
        match => {
            "time" => "%{MONTHDAY:day}/%{MONTH:month}/%{YEAR:year}:%{TIME:time}"
        }
        overwrite => ["time"]
    }

    mutate {
        replace => {"time" =>"%{day}-%{month}-%{year} %{time}" }
    }

    if [request] != "-" {
        grok {
            match => {
                "request" => "%{URIPATH:dest_path}"
            }
        }
    }

    if [refer] != "-" {
        grok {
            match => {
                "refer" => "%{URIHOST}%{URIPATH:source_path}"
            }
        }
    }
}

output { 
    csv {
        fields => ["time", "ip", "dest_path", "source_path", "status"]
        path => "/home/jhowliu/testing.log"
    }
}

没有处理的行有什么有趣的地方吗?你试过打开调试吗?嗨,阿兰,我检查过这类问题,我以为不是一些行没有得到处理。因为我使用了相同的日志文件,有时候我得到了100行,有时候我得到了不到100行。我将在调试中尝试这一过程。对于没有得到处理的行,有什么有趣的地方吗?你试过打开调试吗?嗨,阿兰,我检查过这类问题,我以为不是一些行没有得到处理。因为我使用了相同的日志文件,有时候我得到了100行,有时候我得到了不到100行。我会在调试下试试这个进度。