Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka Kafka Connect-提交偏移量和刷新失败_Apache Kafka_Apache Kafka Connect_Debezium - Fatal编程技术网

Apache kafka Kafka Connect-提交偏移量和刷新失败

Apache kafka Kafka Connect-提交偏移量和刷新失败,apache-kafka,apache-kafka-connect,debezium,Apache Kafka,Apache Kafka Connect,Debezium,我暂停了我的卡夫卡连接器,重新启动它们时,我的日志中出现了这些错误 [2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter) ************ ************ [2020-02-19 19:36:00,216] ERR

我暂停了我的卡夫卡连接器,重新启动它们时,我的日志中出现了这些错误

[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)
随着未处理邮件数量的更改,我多次收到此错误。然后它停了下来,再也没有看到它

我是否需要在此处执行任何操作,或者已重试连接并提交偏移量,这就是错误停止的原因


谢谢

此错误表示缓冲了大量消息,在达到超时之前无法刷新。要解决这个问题,您可以

  • 在Kafka Connect Worker配置中增加
    offset.flush.timeout.ms
    配置参数
  • 或者,您可以通过减少Kafka Connect Worker配置中的
    producer.buffer.memory
    来减少缓冲的数据量。当您有相当大的消息时,这将成为最佳选择

发生这种情况可能是因为连接器暂停,然后会有大量数据通过?@AnonymousAlias可能就是这种情况。您知道是重试,然后刷新并提交,还是会丢失数据,需要调整设置并重新启动?您检查了连接器的状态吗?我假设它已经处于
失败
阶段。连接器看起来都很好,它们都处于“运行”状态,并且我实例上的连接服务是绿色且活动的