Java 卡夫卡消费滞后随机变化?

Java 卡夫卡消费滞后随机变化?,java,apache-kafka,Java,Apache Kafka,因此,我在版本0.9.0.1上有一个卡夫卡消费者,我经常运行以下命令来检查它: kafka-run-class.sh kafka.tools.consumeroffetchecker--zookeeper--group my group 最近我注意到我的滞后随机变化,我不知道为什么,例如,如果我运行两次命令,我会得到: Group Topic Pid Offset LogSize Lag Owner <group> <topic> 0 1

因此,我在版本0.9.0.1上有一个卡夫卡消费者,我经常运行以下命令来检查它:

kafka-run-class.sh kafka.tools.consumeroffetchecker--zookeeper--group my group

最近我注意到我的滞后随机变化,我不知道为什么,例如,如果我运行两次命令,我会得到:

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148802905  148865604  62699 <my-consumer>
...
组主题Pid偏移量日志大小滞后所有者
0   148802905  148865604  62699 
...
但在第二次跑步中,在我得到:

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148865241  148865715  474   <my-consumer>
...
组主题Pid偏移量日志大小滞后所有者
0   148865241  148865715  474   
...
我对另一个消费者群体也有类似的问题,但它不是随机改变滞后数字,而是在数字和文本未知之间切换


我应该去哪里看?这似乎是卡夫卡的问题,但也可能是消费者的问题,欢迎任何想法。提前感谢

如果Offset+lag=logSize,那就好了。滞后可能会根据消费者的消费率增加或减少,并将其收回。您应该检查消费者为什么会在中间变慢。通常发生在消费者执行某些操作,然后回复消息时。我们在storm中使用kafka,当一些下游(例如持久性)需要时间时,我们会面临类似的问题。

您的意思是报告的偏移量和日志大小不正确吗?原因可能仅仅是生产或消费率的飙升吗?您可能随时会碰到不同的数据中心或服务器?看看你的名字?