Logging 消耗后删除日志:logstash

Logging 消耗后删除日志:logstash,logging,logstash,logstash-file,Logging,Logstash,Logstash File,我让logstash监视主机上的目录。每次它看到与我在logstash配置中指定的路径匹配的日志时,它就会开始将数据导入我的elasticsearch集群。logstash是否有办法在使用完日志后将其删除 我想编写脚本来删除logstash已经使用过的日志 但我怎么知道他用了哪些日志呢 也许你们以前做过这件事,或者知道如何实现这一点?Logstash目前无法删除文件。的重点是持续监视文件,但无法知道文件何时完成,即何时不再写入 如果您知道文件何时“完成”,您可以调用Logstash并通过。Log

我让logstash监视主机上的目录。每次它看到与我在logstash配置中指定的路径匹配的日志时,它就会开始将数据导入我的elasticsearch集群。logstash是否有办法在使用完日志后将其删除

我想编写脚本来删除logstash已经使用过的日志 但我怎么知道他用了哪些日志呢


也许你们以前做过这件事,或者知道如何实现这一点?

Logstash目前无法删除文件。的重点是持续监视文件,但无法知道文件何时完成,即何时不再写入

如果您知道文件何时“完成”,您可以调用Logstash并通过。Logstash将在收到文件的结尾时终止,然后您的脚本可以删除该文件

您还可以读取sincedb文件,并将Logstash的当前文件偏移量与相应文件的大小进行比较。有关sincedb文件格式的详细信息,请参阅


或者,您可以确保您有足够的磁盘空间,并使用定期的日志轮换来删除文件,例如基于年龄。磁盘空间可能比时间便宜。

新版本的logstash(V4.1.3)现在可以做到这一点。该操作可以在属性“file\u completed\u action”中的file\u input\u插件中指定。 根据他们的 在读取模式下,当文件被读取时,应该执行什么操作。如果指定了delete,则将删除该文件