Apache storm 在Storm Spout中,命名消费群体

Apache storm 在Storm Spout中,命名消费群体,apache-storm,apache-kafka,Apache Storm,Apache Kafka,我目前正在使用: 已移至: 我想指定卡夫卡消费者组名称。通过查看storm kafka代码,我遵循了设置id,发现它在处理消费者配置时从未使用过,而是用于创建存储偏移信息的zookeeper路径。在此链接中,我举了一个例子,说明我为什么要这样做: 我说的消费者组名称不能使用代码设置对吗?到目前为止,storm kafka集成是使用kafka的SimpleConsumer API实现的,它在zookeeper中存储消费者偏移量的格式是以自己的方式实现的(JSON格式) 如果您像下面这样编写喷口配

我目前正在使用: 已移至:

我想指定卡夫卡消费者组名称。通过查看storm kafka代码,我遵循了设置id,发现它在处理消费者配置时从未使用过,而是用于创建存储偏移信息的zookeeper路径。在此链接中,我举了一个例子,说明我为什么要这样做:


我说的消费者组名称不能使用代码设置对吗?

到目前为止,storm kafka集成是使用kafka的SimpleConsumer API实现的,它在zookeeper中存储消费者偏移量的格式是以自己的方式实现的(JSON格式)

如果您像下面这样编写喷口配置

SpoutConfig spoutConfig = new SpoutConfig(zkBrokerHosts,
                "topic name",
                "/kafka/consumers(just an example, path to store consumer offset)",
                "yourTopic");
它将在/kafka/consumers/yourTopic的子目录中写入消费者偏移量


请注意,默认情况下,storm kafka使用与storm相同的zookeeper。

听起来您确认了我的观察结果。我想我可以问的另一个问题是,“人们是否在同一拓扑中使用相同的配置运行多个卡夫卡喷口,这些喷口是否正确地一起工作,从不两次抓取相同的卡夫卡记录?”