Kafka Connect JDBC接收器连接器
我正在尝试将主题中的数据(json数据)写入MySql数据库。我想我需要一个JDBC接收器连接器 如何配置连接器以将主题中的json数据映射到如何将数据插入数据库中 我能找到的唯一文档就是这个 接收器连接器需要架构知识,因此您应该使用 合适的转换器,例如模式随附的Avro转换器 注册表或启用模式的JSON转换器。Kafka记录 键(如果存在)可以是基元类型或连接结构,并且 记录值必须是从中选择的连接结构域 连接结构必须是基元类型。如果主题中的数据 格式不兼容,可能需要实现自定义转换器 必要的。” 但是如何配置呢?有什么例子吗 我假设这意味着您需要使用汇合模式注册表 要获得“更好的”模式支持,请选择“是”。但不,这不是必需的 您可以将JsonConverter与模式一起使用。enable=true 您的JSON消息需要如下所示Kafka Connect JDBC接收器连接器,jdbc,apache-kafka,apache-kafka-connect,confluent-platform,Jdbc,Apache Kafka,Apache Kafka Connect,Confluent Platform,我正在尝试将主题中的数据(json数据)写入MySql数据库。我想我需要一个JDBC接收器连接器 如何配置连接器以将主题中的json数据映射到如何将数据插入数据库中 我能找到的唯一文档就是这个 接收器连接器需要架构知识,因此您应该使用 合适的转换器,例如模式随附的Avro转换器 注册表或启用模式的JSON转换器。Kafka记录 键(如果存在)可以是基元类型或连接结构,并且 记录值必须是从中选择的连接结构域 连接结构必须是基元类型。如果主题中的数据 格式不兼容,可能需要实现自定义转换器 必要的。”
{
"schema" : {
... data that describes the payload
},
"payload": {
... your actual data
}
}
有关此格式的参考,您可以看到
您可以使用Kafka Streams更轻松地将“无模式”JSON转换为schema-d Avro有效负载看看这个:和@SRJ,因此JSON字段的键需要匹配db表中的列名?是的,根据您的模式。这里以@SRJ为例,我假设这意味着您需要使用Confluent Schema Registry?也可以创建您自己的转换器来创建带有Schema的记录,并像其他Kafka连接插件(连接器,转换)一样注册它。@wardziniak您知道有一种转换可以添加到
Schema.literal
,让我们来描述一个“原始”JSON负载?@wardziniak K。我想我会在开始时添加一个JIRA