elasticsearch,kubernetes,fluentd,kubernetes-ingress,Amazon Web Services,elasticsearch,Kubernetes,Fluentd,Kubernetes Ingress" /> elasticsearch,kubernetes,fluentd,kubernetes-ingress,Amazon Web Services,elasticsearch,Kubernetes,Fluentd,Kubernetes Ingress" />

Amazon web services aws kubernetes装运fluentd日志的集群间通信

Amazon web services aws kubernetes装运fluentd日志的集群间通信,amazon-web-services,elasticsearch,kubernetes,fluentd,kubernetes-ingress,Amazon Web Services,elasticsearch,Kubernetes,Fluentd,Kubernetes Ingress,我们在AWS上有多个k8s集群(使用EKS),每个集群都有自己的VPC,但它们是VPC,可以正确地与一个中心集群通信,该集群有一个elasticsearch服务,该服务将收集所有集群的日志。我们不使用AWS elasticsearch服务,而是使用我们自己的内部kubernetes 我们在每个集群上使用一个入口控制器,它们有自己的内部AWS负载平衡器 我在每个集群的每个节点上都有fluentd pod(通过守护程序),但它需要能够与主集群上的elasticsearch通信。在同一集群内,我可以将

我们在AWS上有多个k8s集群(使用EKS),每个集群都有自己的VPC,但它们是VPC,可以正确地与一个中心集群通信,该集群有一个elasticsearch服务,该服务将收集所有集群的日志。我们不使用AWS elasticsearch服务,而是使用我们自己的内部kubernetes

我们在每个集群上使用一个入口控制器,它们有自己的内部AWS负载平衡器

我在每个集群的每个节点上都有fluentd pod(通过守护程序),但它需要能够与主集群上的elasticsearch通信。在同一集群内,我可以将日志发送到elasticsearch,但不能从其他集群发送,因为它们需要能够访问该集群内的服务

实现这一目标的某种方式或最佳方式是什么


这一切都为我开辟了新天地,所以我想确保我没有遗漏任何明显的东西

我们使用非常类似的设置。在我们的例子中,集群节点上的
fluentd
连接到“集线器”VPC内ES前面的内部ELB。假设所有安全组规则都正确,这应该可以正常工作。您在设置中看到的问题是什么?我有一个负载平衡器服务(tcp/9200),它创建内部ELB,就像您的场景一样。与ELB关联的安全组允许其他VPC通过。VPC对等具有所有路由和安全组,允许双向通信。我目前正在使用一个指向内部ELB的公共aws DNS区域(一个在ELB id前面添加dualstack的别名),但是来自其他vpc的fluentd节点仍然无法与Elasticsearch通信。我应该使用私有DNS吗?我确实得到了以下日志[info]:[elasticsearch]连接打开到elasticsearch集群=>{:host=>“elasticsearch host.domain.com”,:port=>9200,:scheme=>“http”}[warn]:[elasticsearch]缓冲区刷新所用时间比慢速刷新日志阈值所用时间长:已用时间=20.3249867692053096慢速刷新日志阈值=20.0 plugin\u id=“elasticsearch”