Apache kafka 暴风雪:卡夫卡普特-我的消费群体在哪里?

Apache kafka 暴风雪:卡夫卡普特-我的消费群体在哪里?,apache-kafka,apache-storm,Apache Kafka,Apache Storm,我需要查看storm通过其KafkaSpout读取的偏移值。以下是我传入的配置: SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, "some_values", "/storm/env_values", "storm_DEBUG"); 我尝试过使用一些卡夫卡工具进行搜索,但还没有找到任何有用的工具: kafka.tools.exportzk 卡夫卡.工具.消费者 是否有更好的工具用于查找我的偏移量 默认情况下,Kaf

我需要查看storm通过其KafkaSpout读取的偏移值。以下是我传入的配置:

SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, "some_values",  
     "/storm/env_values", "storm_DEBUG");
我尝试过使用一些卡夫卡工具进行搜索,但还没有找到任何有用的工具:

  • kafka.tools.exportzk
  • 卡夫卡.工具.消费者

是否有更好的工具用于查找我的偏移量

默认情况下,KafkaSpout在
{root path}/{id}/{partition id}
下维护Storm的zookeeper上的偏移量信息。阅读了解更多信息

您可以使用Kafka中捆绑的zookeeper外壳(
bin/zookeeper-shell.sh zookeeperHost:port
)并使用CLI浏览到该位置。对偏移路径发出get将为您提供存储值。

请查看 在管理控制台中,有一个用于监视主题和偏移量的工具列表。我记得我曾经使用过python监控工具

但是你到底想要什么呢?如果你只想看到你的偏移量,你可以在zookeeper中看到你的偏移量,只需要连接你的zookeeper中存储偏移量的地方

例如:

bin/zookeeper-shell.sh localhost:2000

连接到本地主机:2000

欢迎来到动物园管理员!JLine支持已禁用

ls/

[风暴、经纪人、动物园管理员]

信用证/经纪人

[卡夫卡喷口]

ls/经纪人/卡夫卡喷口

[分区0]

获取/代理/卡夫卡喷口/分区\u 0

{“拓扑”:{“id”:“a9be1962-6b4e-4ed4-ae68-155a1948a1f6”,“名称”:“合并报告”},“偏移量”:4426029,“分区”:0,“代理”:{“主机”:“本地主机”,“端口”:9092},“主题”:“投标历史”} cZxid=0x50 ctime=Thu May 21 11:00:48 BRT 2015 mZxid=0x50 mtime= 2015年5月21日星期四11:00:48 BRT pZxid=0x50 cversion=0数据版本=0 aclVersion=0 ephemeralOwner=0x0 dataLength=182 numChildren=0


原来我看错了动物园管理员。根据:

卡夫卡喷口将其偏移量存储在Apache Storm使用的Zookeeper的同一个实例中


因此,查看卡夫卡zookeeper不会有什么帮助。

这取决于您决定在何处存储偏移量,可以在卡夫卡zookeeper或storm zookeeper中,也可以在专用zookeeper服务器中。您可以配置存储偏移量的位置。您可以通过将属性STORM-zookeeper-PORT设置为2181来配置使用kafka的zookeeper。在本地模式下运行时,我认为它默认使用端口2000,这是zookeeper storm默认使用的端口。每当我重新启动storm时,我从一开始就在重新处理所有消息。有了这个补丁,我再也看不到他们了。这个问题的另一个症状是,无论zk使用者偏移量存储在哪里,都会看到非节点错误。