Apache kafka MessagesInPerSec适用于卡夫卡的所有主题指标

Apache kafka MessagesInPerSec适用于卡夫卡的所有主题指标,apache-kafka,Apache Kafka,有人能帮我理解这个特定的kafka broker监控指标吗。我曾尝试阅读文档和一些文章,但我不清楚如何监控这些指标,以避免对prod环境中的kafka经纪人造成任何伤害。在我的prod环境中,我看到这个指标的峰值达到每秒5公里,但随后又回到每秒2公里甚至更少 每个消息的字节数也是如此 任何详细的解释都将非常有帮助当您在性能方面遇到任何问题时,您应将重点放在指标(JMX)上,这些指标提供的信息如每秒每个主题“输入”和“输出”的字节数。 你提到的指标,或者说是一般性的,并没有说得太多 我们在测试中发

有人能帮我理解这个特定的kafka broker监控指标吗。我曾尝试阅读文档和一些文章,但我不清楚如何监控这些指标,以避免对prod环境中的kafka经纪人造成任何伤害。在我的prod环境中,我看到这个指标的峰值达到每秒5公里,但随后又回到每秒2公里甚至更少

每个消息的字节数也是如此


任何详细的解释都将非常有帮助

当您在性能方面遇到任何问题时,您应将重点放在指标(JMX)上,这些指标提供的信息如每秒每个主题“输入”和“输出”的字节数。 你提到的指标,或者说是一般性的,并没有说得太多

我们在测试中发现,Kafka具有具体的最大吞吐量,这取决于消息大小。所以,当我们在网络中发送1MB消息时,我们的传输速度大约为170MB/s,但通过发送10MB消息,我们得到了150MB/s。因此,重要的不仅仅是消息的数量,还有消息的大小

为了衡量卡夫卡,你可以使用任何可以阅读和理解JMX的东西。 使用它,我们没有任何明显的性能问题


关于Kafka JMX属性的非常详细的文档:

根据您的帖子,我建议您花一些时间阅读中的文档,以便您有最好的机会回答您的问题。感谢您的解释。我们为BytesInPerSec启用了JMX度量,并且具有不断增加的属性“Count”。我对这个属性的理解不清楚。根据我的观点,这个数字将收集自代理启动以来的计数。我们添加了一些阈值,但它一直在跨越相同的阈值。我应该更多地关注每5分钟的指标吗。有人使用此指标吗?请转到“监视卡夫卡”页面(我答案中的链接)并检查,哪个指标最适合您的需要:-)。