Apache kafka 从JSON创建模式,用Kafka Sink将拼花写入HDFS

Apache kafka 从JSON创建模式,用Kafka Sink将拼花写入HDFS,apache-kafka,hdfs,apache-kafka-connect,confluent-platform,Apache Kafka,Hdfs,Apache Kafka Connect,Confluent Platform,我正在使用卡夫卡HDFS连接 我想从Kafka主题的JSON中编写拼花文件 我想创建带有“模式”、“有效负载”的JSON,如下所示(从): 有一个自动工具是从JSON创建模式,类型为kafka connect 我的财产看起来像: connector.class=io.confluent.connect.hdfs.HdfsSinkConnector flush.size=3 format.class=io.confluent.connect.hdfs.parquet.ParquetFormat k

我正在使用卡夫卡HDFS连接

我想从Kafka主题的JSON中编写拼花文件

我想创建带有“模式”、“有效负载”的JSON,如下所示(从):

有一个自动工具是从JSON创建模式,类型为kafka connect

我的财产看起来像:

connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
flush.size=3
format.class=io.confluent.connect.hdfs.parquet.ParquetFormat
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
schema.compatability=BACKWARD
key.converter.schemas.enabled=false
value.converter.schemas.enabled=false
schemas.enable=false
创建模式后,我应该更改/添加什么


谢谢

虽然这个问题与stackoverflow无关,但我最近遇到了(以及其他问题)。这不是一个完美的解决方案,但它可以为您提供一个非常好的模式开始使用。您是否尝试过
value.schemas.enabled=true
??
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
flush.size=3
format.class=io.confluent.connect.hdfs.parquet.ParquetFormat
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
schema.compatability=BACKWARD
key.converter.schemas.enabled=false
value.converter.schemas.enabled=false
schemas.enable=false