Logstash 未进入elasticsearch的邮件

Logstash 未进入elasticsearch的邮件,logstash,Logstash,我们在rabbitmq中设置了三个队列,处理三种不同类型的日志 队列由logstash处理,并提供一个标记,然后logstash将消息转储到elasticsearch中的适当索引中 所以我的输入看起来像这样: input { rabbitmq { host => "localhost" queue => "central_access_logs" durable => true codec=> json threads =>

我们在rabbitmq中设置了三个队列,处理三种不同类型的日志

队列由logstash处理,并提供一个标记,然后logstash将消息转储到elasticsearch中的适当索引中

所以我的输入看起来像这样:

input {
  rabbitmq {
    host => "localhost"
    queue => "central_access_logs"
    durable => true
    codec=> json
    threads => 3
    prefetch_count => 50
    port => 5672
    tags => ["central_access_log"]
  }
if("central_access_log" in [tags]){
  elasticsearch {
    host => "localhost"
    index=> "central_access_logs"
  }
 }
和其他两个队列的类似设置:

我的输出如下:

input {
  rabbitmq {
    host => "localhost"
    queue => "central_access_logs"
    durable => true
    codec=> json
    threads => 3
    prefetch_count => 50
    port => 5672
    tags => ["central_access_log"]
  }
if("central_access_log" in [tags]){
  elasticsearch {
    host => "localhost"
    index=> "central_access_logs"
  }
 }
有一段时间,我怀疑并不是所有的东西都能进入到中心的日志索引中(其他两个索引,多一些,少一些,似乎很好),所以我添加了以下内容:

file {
 path => '/data/out'
}
让它持续几周

最近,我注意到在过去一周半的时间里,索引中没有任何内容(另外两个也很好),但是文本文件包含了所有丢失的消息


我如何进行调试?这是logstash端的错误还是elasticsearch?

logstash或elasticsearch日志文件中的任何内容?例如,Elasticsearch将删除数据类型与映射不兼容的消息。Elasticsearch日志基本上是空的。logstash日志在11月2日报告内存不足异常,但这会在该日期之前和之后发生。