Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 为什么新消费群体的卡夫卡消费者(0.10.0.0)会看到旧的/以前发布的消息?_Apache Kafka_Kafka Consumer Api - Fatal编程技术网

Apache kafka 为什么新消费群体的卡夫卡消费者(0.10.0.0)会看到旧的/以前发布的消息?

Apache kafka 为什么新消费群体的卡夫卡消费者(0.10.0.0)会看到旧的/以前发布的消息?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个制作人,他可以发布一个叫做“mytopic”的主题的消息。我有两个不同消费群体中的两个消费者在收听这些消息。我按照以下顺序开始这两个消费者和生产者 1) 启动组“group1”中的消费者1 2) 启动producer以发布数百条消息 过了一段时间,我检查了耗电元件1的偏移量,正如我所预期的: /opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopi

我有一个制作人,他可以发布一个叫做“mytopic”的主题的消息。我有两个不同消费群体中的两个消费者在收听这些消息。我按照以下顺序开始这两个消费者和生产者

1) 启动组“group1”中的消费者1 2) 启动producer以发布数百条消息

过了一段时间,我检查了耗电元件1的偏移量,正如我所预期的:

/opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopic--group group1

输出:

组主题Pid偏移量日志大小滞后所有者
组1 mytopic 0 30230 36942 6712无

3) 现在,我启动组“group2”中的消费者2来侦听相同的消息,但每次poll()调用时都返回0条消息。 此消费者的偏移量检查显示其偏移量与日志大小相同

/opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopic--group group2

输出:
组主题Pid偏移量日志大小滞后所有者
组2 mytopic 0 36942 36942 0无


新消费群体的任何其他消费者也会遇到同样的问题。为什么消费者在消息发布后加入新的消费者组,即使主题上存在消息(即,尚未删除),也看不到旧消息?

您需要在消费者配置中将参数设置
auto.offset.reset
更改为值
“最早”
,默认值为
“最新”
告诉新消费者在日志的当前末尾开始消费