elasticsearch 忽略旧文件，使用logstash只从S3推送最新的日志文件

如何忽略旧文件并使用logstash仅从S3推送最新的日志文件。我们正在使用logstash将cloudtaril日志从s3推送到elasticsearch。Cloudtrail日志的格式如下

/AWSLogs/CloudTrail/XXX账号XXXX/aws地区/yearYYYY/MonthMM/dayDD/

---

我只需要从当月提取最新的类似数据的数据，因为整个存储桶都有巨大的TB数据，而logstash无法扩展那么多数据。有什么方法可以做到这一点吗？

处理完日志后，您可以将其移动到其他文件夹。这将避免您再次处理它们，并且还将使处理速度大大加快。我们发现，对于较大的文件夹，s3/logstash的处理速度非常慢

---

查看选项。

我刚刚遇到了同样的问题，并将其解决为：像这样解决它：

使用正常配置启动logstash，这将导致您描述的行为

启动时，它会在日志中告诉您其sincedb文件的位置。默认为logstash-7.8.0/data/plugins/inputs/s3/sincedb_someid

创建文件需要一段时间。创建文件后，再次停止日志存储

现在，我想，你可以删除刚刚导入的数据，但我不想删除

现在编辑文件。这只是UTC时间戳。将其调整到接近现在的位置

---

再次启动logstash，它将开始处理在您刚刚输入的时间戳之后创建的文件。

是否可以使用logstash文件输入中的选项？此设置以秒为单位，因此在一个月内，必须将其设置为30*24*60*60=‭2 592 000‬@S3插件不支持baudsp ignore older选项。还有别的办法吗？对不起，我没意识到你在用S3。也许你可以解析日志上的日期，如果该日期早于当前日期+一个月，则删除该日期。使用“备份到存储桶”选项时，日志存储性能非常慢。如果让文件累积在同一文件夹中，则几乎不起作用，因此备份或删除是唯一的选项。我们的备份性能很好。