Apache kafka 为什么新消费群体的卡夫卡消费者(0.10.0.0)会看到旧的/以前发布的消息?
我有一个制作人,他可以发布一个叫做“mytopic”的主题的消息。我有两个不同消费群体中的两个消费者在收听这些消息。我按照以下顺序开始这两个消费者和生产者 1) 启动组“group1”中的消费者1 2) 启动producer以发布数百条消息 过了一段时间,我检查了耗电元件1的偏移量,正如我所预期的:Apache kafka 为什么新消费群体的卡夫卡消费者(0.10.0.0)会看到旧的/以前发布的消息?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个制作人,他可以发布一个叫做“mytopic”的主题的消息。我有两个不同消费群体中的两个消费者在收听这些消息。我按照以下顺序开始这两个消费者和生产者 1) 启动组“group1”中的消费者1 2) 启动producer以发布数百条消息 过了一段时间,我检查了耗电元件1的偏移量,正如我所预期的: /opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopi
/opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopic--group group1
输出:
组主题Pid偏移量日志大小滞后所有者
组1 mytopic 0 30230 36942 6712无
3) 现在,我启动组“group2”中的消费者2来侦听相同的消息,但每次poll()调用时都返回0条消息。
此消费者的偏移量检查显示其偏移量与日志大小相同
/opt/kafka_2.11-0.10.0.0/bin/kafka-consumer-offset-checker.sh--zookeer localhost:2181--topic mytopic--group group2
输出:
组主题Pid偏移量日志大小滞后所有者
组2 mytopic 0 36942 36942 0无
新消费群体的任何其他消费者也会遇到同样的问题。为什么消费者在消息发布后加入新的消费者组,即使主题上存在消息(即,尚未删除),也看不到旧消息?您需要在消费者配置中将参数设置auto.offset.reset
更改为值“最早”
,默认值为“最新”
告诉新消费者在日志的当前末尾开始消费