Apache kafka 为一个分区重置的使用者组的偏移量
在Kafka的上一次维护期间(需要滚动重新启动Kafka代理),我们看到了某些分区的消费组偏移量的重置 上午11:14,消费者群体一切正常,我们没有看到消费者滞后:Apache kafka 为一个分区重置的使用者组的偏移量,apache-kafka,Apache Kafka,在Kafka的上一次维护期间(需要滚动重新启动Kafka代理),我们看到了某些分区的消费组偏移量的重置 上午11:14,消费者群体一切正常,我们没有看到消费者滞后: TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST C
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0 105130857 105130857 0 st-...
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6 78591770 78591770 0 st-...
然而,5分钟后,在代理的滚动重新启动期间,我们对一个分区进行了重置,并且消费者延迟了数百万个事件
$ bin/kafka-consumer-groups --bootstrap-server XXX:9093,XXX... --command-config secrets.config --group st-xx --describe
Note: This will not show information about old Zookeeper-based consumers.
[2019-08-26 12:44:13,539] WARN Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
[2019-08-26 12:44:13,707] WARN [Consumer clientId=consumer-1, groupId=st-xx] Connection to node -5 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
Consumer group 'st-xx' has no active members.
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 0 105132096 105132275 179
...
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 6 15239401 78593165 63353764 ...
在过去的两个小时里,分区的偏移量没有恢复,我们现在需要手动修补它。在上一次经纪人滚动重启期间,我们遇到了类似的问题
以前有人见过这样的东西吗?我们能找到的唯一线索是,不管我们如何运行卡夫卡版本: