Apache kafka 卡夫卡网络IO度量

使用JMX服务器监控Kafka指标，我希望获得每个代理（节点）的所有网络IO。使用MBeans

kafka.server:type=BrokerTopicMetrics，name=BytesInPerSec

和

kafka.server:type=BrokerTopicMetrics，name=BytesOutPerSec

我可以在代理生成或使用某些数据时获取网络IO，但我们知道代理之间存在一些用于复制、元数据、，连接到Zookeeper等。在我的Kafka集群中，每个节点的网络IO约为6kb，而不消耗或生成任何数据。除了生成或消耗的数据外，是否还有任何卡夫卡指标可用于监控网络IO？

您可以通过在生产者和消费者或经纪人处启用jmx来检查生成或消耗的速率，两者都是可能的

例如，在broker中，n/w和请求速率有几个度量标准

• BrokerTopicMetrics.topic.{topic}.BytesInPerSec
• BrokerTopicMetrics.topic.{topic}.BytesOutPerSec

您可以检查下面kafka文档中公开的jmx指标，尽管这并不详尽，但如果您想查看所有指标，可以在代理/生产者/消费者上启用jmx，并通过VisualVM或任何其他工具进行检查

---

在

kafka.network:type=RequestMetrics下，name=RequestsPerSec

您可以找到所有请求类型的计数器，包括

Fetch

和

FetchFollower

，即使在集群没有生产/消费流量的情况下也会发出这些请求。

我在帖子中提到，

BytesInPerSec

和

BytesOutPerSec

仅用于生产或消费的数据，我需要代理间网络IO。每个代理将有BytesInPerSec和BytesOutPerSec，BytesInPerSec是所有请求的聚合，您还可以检查FetchFollower Metrics是的，这是每秒的请求数，但是我想得到例如

Fetch

和

FetchFollower

的bytesIn/Out/second，我不认为这些是公开的指标，因此您可能需要计算出此类请求的大小并乘以速率。