Logstash 日志存储自动更新数据

Logstash 日志存储自动更新数据,logstash,logstash-configuration,Logstash,Logstash Configuration,我使用的是logstash的最新版本(7.6.2)。我尝试上传一个样本数据,并能够使用logstash(启用自动重新加载)将其成功上传到elasticsearch中,并且能够在Kibana界面中查看索引 但是,当我更改下面的配置文件时,我无法在Kibana界面中看到更新的数据。我试图删除mutate filter插件并重新加载logstash管道,但Kibana中的数据没有更新。有趣的是,它没有抛出任何错误 Sample.conf input{ file{ path => "/us

我使用的是logstash的最新版本(7.6.2)。我尝试上传一个样本数据,并能够使用logstash(启用自动重新加载)将其成功上传到elasticsearch中,并且能够在Kibana界面中查看索引

但是,当我更改下面的配置文件时,我无法在Kibana界面中看到更新的数据。我试图删除mutate filter插件并重新加载logstash管道,但Kibana中的数据没有更新。有趣的是,它没有抛出任何错误

Sample.conf

input{
file{
    path => "/usr/local/Cellar/sample.log"
    start_position => "beginning"
}
}

filter{
    grok{
        match => ["message", "%{TIMESTAMP_ISO8601:timestamp_string}%{SPACE}%{GREEDYDATA:line}"]
    }
    date{
        match => ["timestamp_string", "ISO8601"]
    }
    mutate{
        remove_field => [message, timestamp_string]
    }
}
output{
elasticsearch{
    hosts => ["localhost:9200"]
    index => "sample"
}
stdout{
    codec => rubydebug
}
}
这里的任何帮助都是感激的。短暂性脑缺血发作


附言-我是ElasticSearch的新手

如果要再次解析完整的文件,需要:

  • 删除sindedb文件
  • 或者只删除sincedb文件中的对应行
然后,重新启动Logstash。Logstash将重新分析该文件


更多信息:

非常感谢!成功了。但是,elasticsearch中的索引现在有重复的记录,即来自旧日志和新日志上传的行。我知道在每次上传之前删除索引是可行的,但是有没有办法不删除就完全更新索引?欢迎。关于更新索引,这里有一个解决方案,可以解决弹性社区中发布的相同查询。我希望这个解决方案对你有用。你也可以参考这篇文章来获得更多的理解