Apache kafka 为一个分区重置的使用者组的偏移量

Apache kafka 为一个分区重置的使用者组的偏移量,apache-kafka,Apache Kafka,在Kafka的上一次维护期间(需要滚动重新启动Kafka代理),我们看到了某些分区的消费组偏移量的重置 上午11:14,消费者群体一切正常,我们没有看到消费者滞后: TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST C

在Kafka的上一次维护期间(需要滚动重新启动Kafka代理),我们看到了某些分区的消费组偏移量的重置

上午11:14,消费者群体一切正常,我们没有看到消费者滞后:

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0          105130857       105130857       0          st-...
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6          78591770        78591770        0          st-...
然而,5分钟后,在代理的滚动重新启动期间,我们对一个分区进行了重置,并且消费者延迟了数百万个事件

$ bin/kafka-consumer-groups --bootstrap-server XXX:9093,XXX...  --command-config secrets.config  --group st-xx --describe
Note: This will not show information about old Zookeeper-based consumers.

[2019-08-26 12:44:13,539] WARN Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2019-08-26 12:44:13,707] WARN [Consumer clientId=consumer-1, groupId=st-xx] Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
Consumer group 'st-xx' has no active members.

TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG        CONSUMER-ID                                       HOST                           CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0          105132096       105132275       179            
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6          15239401        78593165        63353764   ...
在过去的两个小时里,分区的偏移量没有恢复,我们现在需要手动修补它。在上一次经纪人滚动重启期间,我们遇到了类似的问题

以前有人见过这样的东西吗?我们能找到的唯一线索是,不管我们如何运行卡夫卡版本: