Performance 使用KafkaOffsetMonitoring工具监控Kafka喷口

我正在为我的项目使用storm-0.9.2发行版附带的kafkaSpout。我想监控这个喷口的流量。我尝试使用KafkaOffsetMonitoring，但它没有显示任何消费者阅读我的主题

我怀疑这是因为我在Zookeeper中为喷口指定了根路径来存储消费偏移量。kafkaOffsetMonitor如何知道在哪里查找有关我的KafkaAsPout实例的数据

有人能确切地解释一下zookeeper在哪里存储关于卡夫卡主题和消费者的数据吗？zookeeper是一个文件系统。那么，它如何安排不同主题及其分区的数据呢？什么是consumer groupid，zookeeper在存储consumer offset时如何解释它

如果有人曾经使用kafkaOffsetMonitor来监控kafkaSpout的吞吐量，请告诉我如何使用该工具找到我的喷口

非常感谢，

---

帕拉克·沙阿（Palak Shah）

我从未使用过卡夫卡夫设置监视器，但我可以回答另一部分

zookeeper.connect是可以为Kafka指定znode的属性；默认情况下，它将所有数据保留在“/”处

您可以使用zkCli.sh（zookeeper命令行）访问zookeeper文件系统。 你应该关注/消费者和/经纪人；下面将给出偏移量

get /consumers/my_test_group/offsets/my_topic/0

---

您可以连续轮询此偏移量，以了解喷口处的消费率。

卡夫卡喷口将其偏移量保留在自己的znode中，而不是在znode下，卡夫卡在znode下为普通消费者存储偏移量。我们有一个类似的需求，我们必须监控卡夫卡喷口消费者和普通卡夫卡消费者的补偿，所以我们结束了编写自己的工具。您可以从这里获得该工具：

---

嘿，非常感谢你指导我。我是Apache Zookeeper（以及一般的分布式系统）的新手。你能告诉我如何投票给zookeeper吗？paalaak-要监视java中的znode，请检查此链接，上述两种方法都适用于为卡夫卡编写的消费群体。但我正试图监视阿帕奇·斯托姆的卡夫卡斯波特。我仍在试图理解喷口与普通卡夫卡消费者的相似之处或不同之处。在这方面的任何帮助都将不胜感激。感谢您的耐心。Storm的KafkaSpout也是Kafka主题中的消费者消费数据，它将连接到通过SpoutConfig指定的特定消费者组，请阅读此处的文档，此处的id字段是消费者组-{root path}/{id}/0