Apache kafka 如何在普罗米修斯中使用多个冗余导出器

我们正在使用监控我们的集群，在某些地区多达10个代理

目前，只有每个集群的第一个代理运行导出器，因为单个导出器可以公开整个集群的状态。但我们希望在所有节点上使用导出器来获取指标，即使其中一个节点已关闭

由于每个kafka导出器都导出集群状态（而不是节点状态），因此我们不知道如何正确配置Prometheus

例如

scrape_configs:
  - job_name: kafka
    static_configs:
      - targets:
        - host1:9308
        - host2:9308
        - ...

将从所有主机获取度量，但我们需要某种回退配置。Host2将使用与Host1相同的度量

---

我们如何做到这一点？

并非每个指标都是相同的。例如，每个代理的主题计数和字节摄取率是不同的。是什么让你这么认为的？我的同事和我检查了它们，实际上看起来我们只在一个节点上获得了整个摄取率。我们正在观察consumergroup_current_offset以及topic_partition_current_offset。每个节点都有，是的。我不知道连接到一个节点的导出器如何能够从所有其他节点获取度量，但该项目似乎使用了Kafka admin Api。我特别要说的是JMX度量，该项目自述文件说应该使用它来获取不同的度量Safaik，普罗米修斯不知道多个目标是否相同，把你告诉它的一切都擦掉。因此，您必须将指标整合到一个“目标”端点