EFK Kubernetes日志聚合

我正在安装EFK堆栈到100天以前的集群。Fluentd将收集100天的日志，并开始发送给Elastic。 是否有规定fluentd从今天开始聚合日志，而不是从集群生命周期开始聚合日志？

如果您查看，您可以找到limit\u recently\u modified flag，该标志允许限制修改时间在指定时间范围内的监视文件

以下是如何在conf文件中使用最近修改的限制：

...
<source>
    exclude_path ["/var/log/wedge/*/*/MattDaemon*.log"]
    path_key source
    format none
    read_from_head true
    tag foo.*
    path /var/log/wedge/*/*/*.log
    pos_file /var/log/td-agent/wedgelog
    limit_recently_modified 86400s
    @type tail
</source>
...

另一个选项是使用而不是Fluentd，在这里可以找到ignore_older标志。Filebeat忽略在指定时间间隔之前修改的任何文件

---

我希望它能对您有所帮助。

谢谢，但在YAML中，我们可以将其设置为环境变量还是有其他方法？@Arpan Sharma我已经编辑了答案并添加了conf文件。当在路径中使用*时，limit_NECTURE_MODIFED参数很有用。若目标文件未在最近修改的限制内更新，则将从监视列表中忽略此类文件。