Apache kafka 有没有办法在Kafka Connect中指定多个转换格式来持久化来自Kafka主题(Avro)的数据
问题: 我在Avro中有一个主题,它没有强制执行统一的时间戳模式。在大多数情况下,相同字段在不同消息中可以具有以下格式: yyyy-MM-dd'HH:MM:SSSS'Z yyyy-MM-dd'HH:MM:ss'Z yyyy-MM-dd'HH:MM:ss.SSS'Z 我想使用Kafka Connect在Oracle DB中持久化有效负载,不幸的是,我遇到了: org.apache.kafka.connect.errors.DataException:Apache kafka 有没有办法在Kafka Connect中指定多个转换格式来持久化来自Kafka主题(Avro)的数据,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,问题: 我在Avro中有一个主题,它没有强制执行统一的时间戳模式。在大多数情况下,相同字段在不同消息中可以具有以下格式: yyyy-MM-dd'HH:MM:SSSS'Z yyyy-MM-dd'HH:MM:ss'Z yyyy-MM-dd'HH:MM:ss.SSS'Z 我想使用Kafka Connect在Oracle DB中持久化有效负载,不幸的是,我遇到了: org.apache.kafka.connect.errors.DataException: Could not parse timesta
Could not parse timestamp: value (2021-04-22T05:37:10Z) does not match pattern (yyyy-MM-dd'T'HH:mm:ss.SSSS'Z')
这是kafka worker配置:
"transforms.someDate.field": "someDate",
"transforms.someDate.format": "yyyy-MM-dd'T'HH:mm:ss.SSSS'Z'",
"transforms.someDate.target.type": "Date",
"transforms.someDate.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
问题:
有没有办法告诉Kafka Connect在失败时使用不同的transforms.format(比如故障切换到'yyyy-MM-dd'T'HH:MM:ss'Z')?还是有更好的办法