Apache kafka Kafka Connect-提交偏移量和刷新失败
我暂停了我的卡夫卡连接器,重新启动它们时,我的日志中出现了这些错误Apache kafka Kafka Connect-提交偏移量和刷新失败,apache-kafka,apache-kafka-connect,debezium,Apache Kafka,Apache Kafka Connect,Debezium,我暂停了我的卡夫卡连接器,重新启动它们时,我的日志中出现了这些错误 [2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter) ************ ************ [2020-02-19 19:36:00,216] ERR
[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)
随着未处理邮件数量的更改,我多次收到此错误。然后它停了下来,再也没有看到它
我是否需要在此处执行任何操作,或者已重试连接并提交偏移量,这就是错误停止的原因
谢谢此错误表示缓冲了大量消息,在达到超时之前无法刷新。要解决这个问题,您可以
- 在Kafka Connect Worker配置中增加
配置参数offset.flush.timeout.ms
- 或者,您可以通过减少Kafka Connect Worker配置中的
来减少缓冲的数据量。当您有相当大的消息时,这将成为最佳选择producer.buffer.memory
失败
阶段。连接器看起来都很好,它们都处于“运行”状态,并且我实例上的连接服务是绿色且活动的