elasticsearch 使用logstash的csv文件输入处理在2/3天后停止工作

我正在使用logstash-1.5.1处理csv文件并上传到elasticsearch-1.5.1。这个过程应该每天都会发生。所以我把我的logstash和elastic搜索引擎放了一次，然后离开它，希望csv文件处理每天都会发生，并上传到elasticsearch。每天都有一个新的csv文件从internet并存储在logstash读取的本地文件夹中。但令人惊讶的是，日志库在2/3天后停止处理csv文件。我不知道原因，请帮助我。logstash输入文件配置如下所示

input { 

    file {
        type => "csv"
        path => "D:/Tools/logstash-1.5.1/data/**/*"
        start_position => beginning
        sincedb_path => "D:/Tools/logstash-1.5.1/sincedb/.sincedb"
    }

}


filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
      }

    }


output {
  elasticsearch { 
    host => "localhost" 
    cluster => "Test"
    node_name => "data"
    index => "client"
    template => "D:/Tools/logstash-1.5.1/lib/elasticsearch-template.json"
    template_overwrite => true

  }

}    

---

所以，尝试使用logstash转发器，并请发布结果，我真的很感兴趣。 您可以使用以下配置安装logstash转发器，例如：

{
  "network": {
    "servers": [ "$YOUR_SERVER:$PORT" ],
    "timeout": 20,
    "ssl ca": "/path/to/logstash/*.crt_file"
             },

  "files": [
       {
        "paths": ["D:/Tools/logstash-1.5.1/data/**/*"],
        "fields": { "type": "csv" },
        "dead time" : "5m"
     }
   ]
}

在logstash服务器中，您可以使用以下输入：

input {
   lumberjack {
         port => "$PORT"
         ssl_key => "/path/to/your/*.key_file"
         ssl_certificate => " "/path/to/your/*.key_file""
         }
}

---

我建议您在logstash命令行中添加

--debug

，这样您就可以分享关于发生了什么的更多见解。我在questionFast决策中提供了完整的logstash配置文件，我可以提供-use logstash forwarder。它适用于处理带有通配符的文件和路径中的事件。对我来说，这真的很好。谢谢艾迪的帮助。我实现了您的解决方案，并将其留给测试。希望Logstash-Elastic搜索组合能够持续运行@sagar没有问题-我很高兴它能起作用。我想补充一些建议：-如果logstash的管道被阻塞，只需重新启动它-为了避免手动重新启动，您可以编写cronjob以每天重新启动logstash一次-如果logstash的进程无故停止工作，请检查输出配置。如果输出到ES和标准输出，则禁用标准输出。这是一个错误。