Logstash 停堆前冲洗管道

Logstash 停堆前冲洗管道,logstash,logstash-configuration,Logstash,Logstash Configuration,我使用的是Logstash5.4.2持久性队列。我有配置文件来获取输入,抛出JDBC,进行一些转换,并将输出存储到MongoDB。但是当我在logstash中运行它时,它只插入很少的记录,比如说6000条,而实际输出应该是300000条记录。主管道被关闭。当我看到数据文件夹中的页面文件有更多记录时。如何在关机前或关机后不使用管道将数据刷新到输出中。我的logstash持久性队列设置如下 pipeline.workers: 2 pipeline.output.workers: 1 pipeline

我使用的是Logstash5.4.2持久性队列。我有配置文件来获取输入,抛出JDBC,进行一些转换,并将输出存储到MongoDB。但是当我在logstash中运行它时,它只插入很少的记录,比如说6000条,而实际输出应该是300000条记录。主管道被关闭。当我看到数据文件夹中的页面文件有更多记录时。如何在关机前或关机后不使用管道将数据刷新到输出中。我的logstash持久性队列设置如下

pipeline.workers: 2
pipeline.output.workers: 1
pipeline.batch.size: 50
pipeline.batch.delay: 5
pipeline.unsafe_shutdown: false
config.test_and_exit: false
config.reload.automatic: false
queue.type: persisted
queue.page_capacity: 1gb
queue.max_events: 0
queue.max_bytes: 4gb
queue.checkpoint.acks: 1024
queue.checkpoint.writes: 1024
queue.checkpoint.interval: 1000
是否有任何方法可以在主管道关闭期间将持久性队列中的所有数据刷新到输出,或者处理此问题的任何解决方法


提前谢谢

您的
队列.checkpoint.writes
设置为
1024
,这是默认设置。您需要将其设置为
1
,以用于输入事件,即

queue.checkpoint.writes: 1

请记住,这涉及大量磁盘写入,这将严重影响性能

您的
队列.checkpoint.writes
设置为
1024
,这是默认设置。您需要将其设置为
1
,以用于输入事件,即

queue.checkpoint.writes: 1

请记住,这涉及大量磁盘写入,这将严重影响性能

请核对答案请核对答案