Apache kafka 用于JDBC的Kafka connect源代码-毒丸、错误消息、错误处理问题 我有一些数据存储在postgres表中 每行都有使用Avro序列化的数据 我创建了一个Kafka connect源连接器,它读取行并将它们发送到具有相同Avro模式的主题。主题的合流\u值\u模式\u验证为true 这很有效,但是如果我在我的postgres表中插入一条毒丸消息,那么连接器就会拒绝前进。一种解决方案是手动干预,将偏移向前移动,以便跳过错误消息。另一种解决方案是将confluent\u value\u schema\u validation设置为false,以便可以将任何消息添加到我的主题中 我尝试了下面的配置,但什么也没发生 我的问题-如何让Kafka Connect JDBC源连接器忽略错误并继续处理好消息

Apache kafka 用于JDBC的Kafka connect源代码-毒丸、错误消息、错误处理问题 我有一些数据存储在postgres表中 每行都有使用Avro序列化的数据 我创建了一个Kafka connect源连接器,它读取行并将它们发送到具有相同Avro模式的主题。主题的合流\u值\u模式\u验证为true 这很有效,但是如果我在我的postgres表中插入一条毒丸消息,那么连接器就会拒绝前进。一种解决方案是手动干预,将偏移向前移动,以便跳过错误消息。另一种解决方案是将confluent\u value\u schema\u validation设置为false,以便可以将任何消息添加到我的主题中 我尝试了下面的配置,但什么也没发生 我的问题-如何让Kafka Connect JDBC源连接器忽略错误并继续处理好消息,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,如何使Kafka Connect JDBC源连接器忽略错误并继续处理好消息 目前(2021年1月),您不能 Kafka Connect中的错误处理将在转换和serde级别处理错误,但从数据库读取记录的连接器本身的错误将不会在同一机制下处理 以及手动移动源连接器通过问题记录,您可以考虑一种方法,通过该方法将表中的原始进给(没有模式验证)摄取到一个主题中,然后编写卡夫卡流应用程序从原始主题读取数据并将其写入目标对象,在途中应用模式验证,并在此时处理错误消息 "errors.toleranc

如何使Kafka Connect JDBC源连接器忽略错误并继续处理好消息

目前(2021年1月),您不能

Kafka Connect中的错误处理将在转换和serde级别处理错误,但从数据库读取记录的连接器本身的错误将不会在同一机制下处理

以及手动移动源连接器通过问题记录,您可以考虑一种方法,通过该方法将表中的原始进给(没有模式验证)摄取到一个主题中,然后编写卡夫卡流应用程序从原始主题读取数据并将其写入目标对象,在途中应用模式验证,并在此时处理错误消息

"errors.tolerance": "all",
"errors.retry.timeout": 500,
"errors.retry.delay.max.ms": 100,