Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 有没有办法在Kafka Connect中指定多个转换格式来持久化来自Kafka主题(Avro)的数据_Apache Kafka_Apache Kafka Connect - Fatal编程技术网

Apache kafka 有没有办法在Kafka Connect中指定多个转换格式来持久化来自Kafka主题(Avro)的数据

Apache kafka 有没有办法在Kafka Connect中指定多个转换格式来持久化来自Kafka主题(Avro)的数据,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,问题: 我在Avro中有一个主题,它没有强制执行统一的时间戳模式。在大多数情况下,相同字段在不同消息中可以具有以下格式: yyyy-MM-dd'HH:MM:SSSS'Z yyyy-MM-dd'HH:MM:ss'Z yyyy-MM-dd'HH:MM:ss.SSS'Z 我想使用Kafka Connect在Oracle DB中持久化有效负载,不幸的是,我遇到了: org.apache.kafka.connect.errors.DataException: Could not parse timesta

问题: 我在Avro中有一个主题,它没有强制执行统一的时间戳模式。在大多数情况下,相同字段在不同消息中可以具有以下格式:

yyyy-MM-dd'HH:MM:SSSS'Z

yyyy-MM-dd'HH:MM:ss'Z

yyyy-MM-dd'HH:MM:ss.SSS'Z

我想使用Kafka Connect在Oracle DB中持久化有效负载,不幸的是,我遇到了: org.apache.kafka.connect.errors.DataException:

Could not parse timestamp: value (2021-04-22T05:37:10Z) does not match pattern (yyyy-MM-dd'T'HH:mm:ss.SSSS'Z') 
这是kafka worker配置:

  "transforms.someDate.field": "someDate",
  "transforms.someDate.format": "yyyy-MM-dd'T'HH:mm:ss.SSSS'Z'",
  "transforms.someDate.target.type": "Date",
  "transforms.someDate.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
问题: 有没有办法告诉Kafka Connect在失败时使用不同的transforms.format(比如故障切换到'yyyy-MM-dd'T'HH:MM:ss'Z')?还是有更好的办法