Apache kafka 如何摆脱卡夫卡中的消极消费者滞后

Apache kafka 如何摆脱卡夫卡中的消极消费者滞后,apache-kafka,jmx,apache-kafka-connect,Apache Kafka,Jmx,Apache Kafka Connect,最近,我监测了我的集群,发现集群上出现了负消费者滞后: 此负滞后影响群集上的接收器连接器,我在Kafka Connect上遇到此错误: Mar 25 15:56:30 Master1 connect-distributed[14530]: [2020-03-25 15:56:30,910] WARN WorkerSinkTask{id=hdfs-1} Ignoring invalid task provided offset mongodb.db.collection-1/OffsetAndM

最近,我监测了我的集群,发现集群上出现了负消费者滞后

此负滞后影响群集上的接收器连接器,我在Kafka Connect上遇到此错误

Mar 25 15:56:30 Master1 connect-distributed[14530]: [2020-03-25 15:56:30,910] WARN WorkerSinkTask{id=hdfs-1} Ignoring invalid task provided offset mongodb.db.collection-1/OffsetAndMetadata{offset=84, leaderEpoch=null, metadata=''} -- not yet consumed, taskOffset=84 currentOffset=7 (org.apache.kafka.connect.runtime.WorkerSinkTask:417)


“轮询生产者偏移量。对于基于Kafka的消费者,从偏移量主题读取消费者偏移量。这意味着报告的延迟可能为负值,因为我们使用偏移量主题的偏移量比轮询生产者偏移量更快。这是正常的,不是问题。”摘自。我想这里也会发生同样的情况。谢谢。所以如果这是正常的。卡夫卡连接返回此错误的原因是什么?我不认为这两者有任何关联。但不知道问题的原因是什么。不清楚你的数据是如何收集的。。。你试过Burrow或Remora吗?