elasticsearch Filebeat';s GCP模块不断获取哈希配置错误
我目前正在尝试将GCP的云日志转发给Filebeat,然后再转发给Elasticsearch,并根据以下内容在Filebeat上设置GCP模块 目前我只想转发审核日志,所以我的elasticsearch Filebeat';s GCP模块不断获取哈希配置错误,elasticsearch,google-cloud-platform,google-cloud-pubsub,filebeat,elasticsearch,Google Cloud Platform,Google Cloud Pubsub,Filebeat,我目前正在尝试将GCP的云日志转发给Filebeat,然后再转发给Elasticsearch,并根据以下内容在Filebeat上设置GCP模块 目前我只想转发审核日志,所以我的gcp.yml模块如下 - module: gcp vpcflow: enabled: false var.project_id: my-gcp-project-id var.topic: gcp-vpc-flowlogs var.subscription_name: filebeat-
gcp.yml
模块如下
- module: gcp
vpcflow:
enabled: false
var.project_id: my-gcp-project-id
var.topic: gcp-vpc-flowlogs
var.subscription_name: filebeat-gcp-vpc-flowlogs-sub
var.credentials_file: ${path.config}/gcp-service-account-xyz.json
#var.internal_networks: [ "private" ]
firewall:
enabled: false
var.project_id: my-gcp-project-id
var.topic: gcp-vpc-firewall
var.subscription_name: filebeat-gcp-firewall-sub
var.credentials_file: ${path.config}/gcp-service-account-xyz.json
#var.internal_networks: [ "private" ]
audit:
enabled: true
var.project_id: <my prod name>
var.topic: sample_topic
var.subscription_name: filebeat-gcp-audit
var.credentials_file: ${path.config}/<something>.<something>
虽然我可以启动该服务,但我似乎没有看到任何日志从GCP的云日志发布/子主题转发到弹性搜索
如能提供最佳实践方面的帮助或提示,将不胜感激
更新
如果我遵循,它会给我相同的错误,但在
审计中您使用了指南中的哪个选项(选项1或选项2)?这是您的全部配置文件吗?当您在防火墙部分使用true
时会发生什么情况?@PjoterS如果我将true
放在防火墙中,那么它将得到相同的错误,但它将打开0.vpcflow
。对于选项1和2,我有点不清楚你要问的是哪一个,但对于Filebeat to ES auth,我跳过了它,因为我没有使用auth系统,我也没有使用logstashI,我也得到了同样的错误。
2021-05-21T09:02:25.232Z ERROR cfgfile/reload.go:258 Error loading configuration files: 1 error: Unable to hash given config: missing field accessing '0.firewall' (source:'/etc/filebeat/modules.d/gcp.yml')