Apache kafka Kafka Streams 1.1.0:消费者组重新处理整个日志

Apache kafka Kafka Streams 1.1.0:消费者组重新处理整个日志,apache-kafka,apache-kafka-streams,Apache Kafka,Apache Kafka Streams,我们有一个kafka streams应用程序(2.0),它正在与kafka代理(1.1.0)通信。streams应用程序一直在毫无原因地重新处理整个日志-应用程序没有重新启动,没有重新平衡,只是闲坐着-在某些情况下,它正在处理消息,在另一些情况下,它正在等待接收消息(处理消息的时间不到6个小时)。我们已经做了大量的研究,并通过将偏移保留分钟数设置为1周,与我们的邮件保留时间相同,从而排除了错误。此外,如果消费者组偏移量在积极处理消息时被重置,那么这将是问题的根本原因,这是没有意义的 在事件发生时

我们有一个kafka streams应用程序(2.0),它正在与kafka代理(1.1.0)通信。streams应用程序一直在毫无原因地重新处理整个日志-应用程序没有重新启动,没有重新平衡,只是闲坐着-在某些情况下,它正在处理消息,在另一些情况下,它正在等待接收消息(处理消息的时间不到6个小时)。我们已经做了大量的研究,并通过将
偏移保留分钟数设置为1周,与我们的邮件保留时间相同,从而排除了错误。此外,如果消费者组偏移量在积极处理消息时被重置,那么这将是问题的根本原因,这是没有意义的

在事件发生时,代理日志中没有任何有趣的内容:

[2019-02-21 09:02:20,009] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-02-21 09:12:20,009] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-02-21 09:12:51,084] INFO [ProducerStateManager partition=MY_TOPIC-1] Writing producer snapshot at offset 422924 (kafka.log.ProducerStateManager)
[2019-02-21 09:12:51,085] INFO [Log partition=MY_TOPIC-1, dir=/data1/kafka] Rolled new log segment at offset 422924 in 1 ms. (kafka.log.Log)
[2019-02-21 09:14:56,384] INFO [ProducerStateManager partition=MY_TOPIC-12] Writing producer snapshot at offset 295610 (kafka.log.ProducerStateManager)
[2019-02-21 09:14:56,384] INFO [Log partition=MY_TOPIC-12, dir=/data1/kafka] Rolled new log segment at offset 295610 in 1 ms. (kafka.log.Log)
[2019-02-21 09:15:19,365] INFO [ProducerStateManager partition=__transaction_state-8] Writing producer snapshot at offset 3939084 (kafka.log.ProducerStateManager)
[2019-02-21 09:15:19,365] INFO [Log partition=__transaction_state-8, dir=/data1/kafka] Rolled new log segment at offset 3939084 in 0 ms. (kafka.log.Log)
[2019-02-21 09:21:26,755] INFO [ProducerStateManager partition=MY_TOPIC-9] Writing producer snapshot at offset 319799 (kafka.log.ProducerStateManager)
[2019-02-21 09:21:26,755] INFO [Log partition=MY_TOPIC-9, dir=/data1/kafka] Rolled new log segment at offset 319799 in 1 ms. (kafka.log.Log)
[2019-02-21 09:22:20,009] INFO [GroupMetadataManager brokerId=2] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)
[2019-02-21 09:23:31,283] INFO [ProducerStateManager partition=__consumer_offsets-17] Writing producer snapshot at offset 47345110 (kafka.log.ProducerStateManager)
[2019-02-21 09:23:31,297] INFO [Log partition=__consumer_offsets-17, dir=/data1/kafka] Rolled new log segment at offset 47345110 in 28 ms. (kafka.log.Log)
应用程序日志中绝对没有任何内容(即使日志级别设置为
DEBUG


关于导致此问题的原因有何想法?

将卡夫卡代理升级到2.0.0解决了此问题。

不确定这是否相关,因为它被标记为影响2.0、2.1版。。。也许值得在罚单上留下评论,问问1.1是否也会受到影响。