Apache kafka 卡夫卡消费者阅读不一致
我使用Spring@KafkaLister来消费Kafka消息。我正在通过Kafka控制台制作程序编写一个包含800条消息的文件,用于主题 我的消费者不一致,因为它有时读取300条记录,有时读取700条,有时读取800条Apache kafka 卡夫卡消费者阅读不一致,apache-kafka,Apache Kafka,我使用Spring@KafkaLister来消费Kafka消息。我正在通过Kafka控制台制作程序编写一个包含800条消息的文件,用于主题 我的消费者不一致,因为它有时读取300条记录,有时读取700条,有时读取800条 props.put("zookeeper.connect", a_zookeeper); props.put("group.id", a_groupId); props.put("zookeeper.session.timeout.ms", "1000"); props
props.put("zookeeper.connect", a_zookeeper);
props.put("group.id", a_groupId);
props.put("zookeeper.session.timeout.ms", "1000");
props.put("zookeeper.sync.time.ms", "200");
props.put("auto.commit.interval.ms", "10000");
如何获得一致的读取?您的主题中有多少个分区?您确定在运行测试时,您的使用者正在使用的consumer group.id只有一个成员吗?如果您更改group.id并再次运行,您会收到所有消息吗?是的。在这种情况下,可能存在多个使用者实例(属于同一个group.id),而您没有意识到这一点,并且消息可能分布在它们之间。您的主题中有多少个分区?您确定在运行测试时,您的使用者正在使用的consumer group.id只有一个成员吗?如果您更改group.id并再次运行,您会收到所有消息吗?是的。在这种情况下,可能存在多个使用者实例(属于同一个group.id),而您没有意识到,并且消息可能分布在它们之间