elasticsearch 将日志存储事件重新排队,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat" /> elasticsearch 将日志存储事件重新排队,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat" />

elasticsearch 将日志存储事件重新排队

elasticsearch 将日志存储事件重新排队,elasticsearch,logstash,elastic-stack,filebeat,elasticsearch,Logstash,Elastic Stack,Filebeat,是否可以在一段时间内将要再次处理的日志存储事件重新排队 为了说明我的意思,我将解释我的用例:我有一个定制的Logstash过滤器,它在应用程序开始时从日志中提取应用程序版本,然后将正确的版本附加到每个日志事件。但是,在一开始,竞争条件可能发生在应用程序版本尚未写入文件的情况下,但Logstash筛选器仍尝试读取数据(因为它同时处理日志行)。这将导致应用程序版本为空。如果有问题,Logstash从Filebeat获取输入 我希望在应用程序版本保存到磁盘后的几秒钟(或几毫秒)内,将这些事件重新排队,

是否可以在一段时间内将要再次处理的日志存储事件重新排队

为了说明我的意思,我将解释我的用例:我有一个定制的Logstash过滤器,它在应用程序开始时从日志中提取应用程序版本,然后将正确的版本附加到每个日志事件。但是,在一开始,竞争条件可能发生在应用程序版本尚未写入文件的情况下,但Logstash筛选器仍尝试读取数据(因为它同时处理日志行)。这将导致应用程序版本为空。如果有问题,Logstash从Filebeat获取输入

我希望在应用程序版本保存到磁盘后的几秒钟(或几毫秒)内,将这些事件重新排队,以便完全重新处理

然而,这让我想到了一个更广泛的问题,那就是,您是否可以告诉Logstash事件重新排队,或者是否有其他解决方案


谢谢你的帮助

处理数据并附加到新文件中,然后使用该文件进一步处理数据

  • Logstash处理器-1 Geat数据处理数据并附加到文件
  • Logstash Processor-2从第二个文件中获取数据并执行任何操作 想做什么

我觉得这有点像黑客。我的意思是我可以建立自己的队列,我更想知道是否存在一种方法来处理这类事情。此外,这需要两个Logstash实例,这是我想要避免的。目前还没有类似的实例存在,或者我不知道的东西,或者其他事情,你可以使用elasticsearch输入插件,计划每小时左右运行一次,或者你决定什么时候运行。