elasticsearch 如何使用Kafka在logstash中保留更长时间的日志？

目前，我使用redis->s3->elastic search->kibana堆栈对日志进行管道化和可视化。但由于弹性搜索中有大量数据，我可以保留日志长达7天

我想将kafka集群放在这个堆栈中，并将日志保留更多天。我正在考虑下一个堆栈

应用程序节点将日志管道化到kafka->kafka集群->弹性搜索集群->kibana

---

如何使用kafka将日志保留更长的天数？

查看Apache kafka，有两个属性决定何时删除日志。一个是时间，另一个是空间

log.retention.{ms,minutes,hours}
log.retention.bytes

还请注意，如果同时设置了log.retention.hours和log.retention.bytes，则当超过任一限制时，我们将删除一个段

这两个命令在Kafka中何时删除日志。log.retention.bytes默认为-1，我很确定将其保留为-1只允许时间配置单独确定日志何时被删除

---

因此，要直接回答您的问题，请将log.retention.hours设置为您希望保留数据的小时数，并且不更改log.retention.bytes配置

谢谢。但是我如何从我的应用程序节点catalina.out向logstash中的kafka clutser提供日志呢？我不知道。我从来没用过logstash。您最初只是问如何将Kafka配置为保留日志，所以我回答了这个问题。如果您提出一个与日志存储设置相关的全新问题，可能会更好。