Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache zookeeper 使用卡夫卡&;Zookeeper,其他组id不会从一开始检索Kafka MSG_Apache Zookeeper_Apache Kafka - Fatal编程技术网

Apache zookeeper 使用卡夫卡&;Zookeeper,其他组id不会从一开始检索Kafka MSG

Apache zookeeper 使用卡夫卡&;Zookeeper,其他组id不会从一开始检索Kafka MSG,apache-zookeeper,apache-kafka,Apache Zookeeper,Apache Kafka,我们已经设置了卡夫卡2.10版和zookeeper 3.4版,并正在运行。我们已经编写了使用Kafka日志MSG的高级消费者。消费者A开始使用主题T和组id G1的MSG(遵循ApacheKafka文档中提供的高级消费者示例)。 然后,当使用者B以相同的主题T启动,但组id为G2时,它连接到kafka/zookeeper,但使用以使用者A使用的最后一个偏移量之后的偏移量开始的日志MSG 我的理解是,应该从Kafka中该主题可用的最低偏移量开始,向其提供log msgs。知道它为什么不这么做吗 我

我们已经设置了卡夫卡2.10版和zookeeper 3.4版,并正在运行。我们已经编写了使用Kafka日志MSG的高级消费者。消费者A开始使用主题T和组id G1的MSG(遵循ApacheKafka文档中提供的高级消费者示例)。 然后,当使用者B以相同的主题T启动,但组id为G2时,它连接到kafka/zookeeper,但使用以使用者A使用的最后一个偏移量之后的偏移量开始的日志MSG

我的理解是,应该从Kafka中该主题可用的最低偏移量开始,向其提供log msgs。知道它为什么不这么做吗

我们还没有复制卡夫卡或动物园管理员。我们在这一点上的设置是简单而直接的,我们正试图让它们使用基本功能

感谢您的帮助


另外,您知道我们在哪里可以找到假定zookeeper每次使用新组id的使用者与zookeeper建立连接时创建的新目录(用于跟踪该组id的偏移量)?

您可以尝试在创建使用者组时将其添加到配置中吗

    props.put("auto.offset.reset", "smallest");

非常感谢,成功了。您知道如何在zookeeper客户端中显示消费者groupid为主题读取的最后偏移量吗。它一定是把它保存在某个地方,让它知道下一个消费者组ID应该从哪个偏移开始。我建议你对此提出一个单独的问题。。但在这之前,我们先来了解一下动物园管理员是如何参与进来的