Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Kafka Connect JDBC接收器连接器_Jdbc_Apache Kafka_Apache Kafka Connect_Confluent Platform - Fatal编程技术网

Kafka Connect JDBC接收器连接器

Kafka Connect JDBC接收器连接器,jdbc,apache-kafka,apache-kafka-connect,confluent-platform,Jdbc,Apache Kafka,Apache Kafka Connect,Confluent Platform,我正在尝试将主题中的数据(json数据)写入MySql数据库。我想我需要一个JDBC接收器连接器 如何配置连接器以将主题中的json数据映射到如何将数据插入数据库中 我能找到的唯一文档就是这个 接收器连接器需要架构知识,因此您应该使用 合适的转换器,例如模式随附的Avro转换器 注册表或启用模式的JSON转换器。Kafka记录 键(如果存在)可以是基元类型或连接结构,并且 记录值必须是从中选择的连接结构域 连接结构必须是基元类型。如果主题中的数据 格式不兼容,可能需要实现自定义转换器 必要的。”

我正在尝试将主题中的数据(json数据)写入MySql数据库。我想我需要一个JDBC接收器连接器

如何配置连接器以将主题中的json数据映射到如何将数据插入数据库中

我能找到的唯一文档就是这个

接收器连接器需要架构知识,因此您应该使用 合适的转换器,例如模式随附的Avro转换器 注册表或启用模式的JSON转换器。Kafka记录 键(如果存在)可以是基元类型或连接结构,并且 记录值必须是从中选择的连接结构域 连接结构必须是基元类型。如果主题中的数据 格式不兼容,可能需要实现自定义转换器 必要的。”

但是如何配置呢?有什么例子吗

我假设这意味着您需要使用汇合模式注册表

要获得“更好的”模式支持,请选择“是”。但不,这不是必需的

您可以将JsonConverter与模式一起使用。enable=true

您的JSON消息需要如下所示

{
   "schema" : {
      ... data that describes the payload
   }, 
   "payload": {
      ... your actual data
   }
}
有关此格式的参考,您可以看到


您可以使用Kafka Streams更轻松地将“无模式”JSON转换为schema-d Avro有效负载

看看这个:和@SRJ,因此JSON字段的键需要匹配db表中的列名?是的,根据您的模式。这里以@SRJ为例,我假设这意味着您需要使用Confluent Schema Registry?也可以创建您自己的转换器来创建带有Schema的记录,并像其他Kafka连接插件(连接器,转换)一样注册它。@wardziniak您知道有一种转换可以添加到
Schema.literal
,让我们来描述一个“原始”JSON负载?@wardziniak K。我想我会在开始时添加一个JIRA