elasticsearch 如何将filebeat kubernetes deamon配置为在命名空间或pod名称上建立索引
我目前正在尝试将日志从kubernetes集群获取到外部ElasticSearch/Kibana。到目前为止,我已经使用守护程序部署来运行filebeat并将其传送到外部服务器,但我无法确定如何将索引设置为有意义的内容。文档页面告诉我需要在output.elasticsearch部分创建am索引键,但我不知道该在值中输入什么 我想要的输出格式是类似于elasticsearch 如何将filebeat kubernetes deamon配置为在命名空间或pod名称上建立索引,elasticsearch,kubernetes,elastic-stack,filebeat,elasticsearch,Kubernetes,Elastic Stack,Filebeat,我目前正在尝试将日志从kubernetes集群获取到外部ElasticSearch/Kibana。到目前为止,我已经使用守护程序部署来运行filebeat并将其传送到外部服务器,但我无法确定如何将索引设置为有意义的内容。文档页面告诉我需要在output.elasticsearch部分创建am索引键,但我不知道该在值中输入什么 我想要的输出格式是类似于-- IE:devKube-frontend-publicAPI-123abc前提条件:您已启用 然后可以在索引名称中使用该元数据,如下所示: ou
--
IE:
devKube-frontend-publicAPI-123abc
前提条件:您已启用
然后可以在索引名称中使用该元数据,如下所示:
output.elasticsearch:
index: "%{[kubernetes.namespace]:filebeat}-%{[beat.version]}-%{+yyyy.MM.dd}"
:使用kubernetes名称空间,如果没有名称空间,则返回到%{[kubernetes.namespace]:filebeat}
filebeat
- 当升级Filebeat时,强烈建议在该场景中添加
,并且映射中存在重大更改。这应该仅限于主要版本更改(如果有),但这是一个使用此设置可以轻松避免的问题%{[beat.version]}
- 像
或更好的基于时间的索引模式是一种具有均匀且适当大小的碎片的方法%{+yyyy.MM.dd}
add\u kubernetes\u metadata:~
的字段中有Pod名称和其他详细信息。我会小心不要把索引切成小块,因为每个碎片都有一定的开销。默认的Filebeat ILM策略是每个分片50GB—如果您的分片小于10GB,您很可能会在某个时候遇到问题。让索引更粗一点,只需对特定的Pod使用过滤器即可