Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/backbone.js/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 卡夫卡消费者阅读不一致_Apache Kafka - Fatal编程技术网

Apache kafka 卡夫卡消费者阅读不一致

Apache kafka 卡夫卡消费者阅读不一致,apache-kafka,Apache Kafka,我使用Spring@KafkaLister来消费Kafka消息。我正在通过Kafka控制台制作程序编写一个包含800条消息的文件,用于主题 我的消费者不一致,因为它有时读取300条记录,有时读取700条,有时读取800条 props.put("zookeeper.connect", a_zookeeper); props.put("group.id", a_groupId); props.put("zookeeper.session.timeout.ms", "1000"); props

我使用Spring@KafkaLister来消费Kafka消息。我正在通过Kafka控制台制作程序编写一个包含800条消息的文件,用于主题

我的消费者不一致,因为它有时读取300条记录,有时读取700条,有时读取800条

 props.put("zookeeper.connect", a_zookeeper);
 props.put("group.id", a_groupId);
 props.put("zookeeper.session.timeout.ms", "1000");
 props.put("zookeeper.sync.time.ms", "200");
 props.put("auto.commit.interval.ms", "10000");

如何获得一致的读取?

您的主题中有多少个分区?您确定在运行测试时,您的使用者正在使用的consumer group.id只有一个成员吗?如果您更改group.id并再次运行,您会收到所有消息吗?是的。在这种情况下,可能存在多个使用者实例(属于同一个group.id),而您没有意识到这一点,并且消息可能分布在它们之间。您的主题中有多少个分区?您确定在运行测试时,您的使用者正在使用的consumer group.id只有一个成员吗?如果您更改group.id并再次运行,您会收到所有消息吗?是的。在这种情况下,可能存在多个使用者实例(属于同一个group.id),而您没有意识到,并且消息可能分布在它们之间