Postgresql 如何防止在postgres每日日志期间发送重复日志

我们有一个postgres服务器，可以生成如下日志：

postgresql-Sat.csv
postgresql-Sun.csv
postgresql-Mon.csv
postgresql-Tue.csv
postgresql-Wed.csv
postgresql-Thu.csv
postgresql-Fri.csv

我们的logstash托运人就是这样：

input {
  file {
    path => '/pglog/postgresql-*.csv'
    type => 'postgres_csv'
  }
}
output {
  file {
    path => '/pglog/test_logstash.output'
  }
}

24小时后，我们在输出文件/pglog/test_logstash.output中看到大量的重复项

这就好像logstash忘记了它已经装运了什么，然后重新装运了所有的东西

我查看了sincedb文件，它们确实正在更新（只需查看时间戳）

---

知道为什么输出文件中会有大量重复项吗？

检查文件的inode编号（ls-i）并将其与sincedb文件中的内容进行比较。也许你会发现额外的索引节点。另外，如果你压缩文件，它们将不再匹配模式。好主意。为了完整性，我对文件进行了ls-i，并对sinceDB文件进行了分类。明天早上，在postgres完成日志循环后，如果有任何变化，我就会知道有什么可疑的事情发生了。谢谢好啊我取得了很大的进步。我将修改我的问题，因为我原来的设置是不正确的和误导性的。我在正在使用的另一个文件中找到了一个“输出”。请检查文件的inode编号（ls-I），并将其与sincedb文件中的编号进行比较。也许你会发现额外的索引节点。另外，如果你压缩文件，它们将不再匹配模式。好主意。为了完整性，我对文件进行了ls-i，并对sinceDB文件进行了分类。明天早上，在postgres完成日志循环后，如果有任何变化，我就会知道有什么可疑的事情发生了。谢谢好啊我取得了很大的进步。我将修改我的问题，因为我原来的设置是不正确的和误导性的。我在正在使用的另一个文件中找到了一个“输出”。