Apache kafka 如何根据连接器名称获取Kafka源连接器架构

Apache kafka 如何根据连接器名称获取Kafka源连接器架构,apache-kafka,apache-kafka-connect,confluent-platform,confluent-schema-registry,ksqldb,Apache Kafka,Apache Kafka Connect,Confluent Platform,Confluent Schema Registry,Ksqldb,我正在使用Confluent JDBC Kafka连接器将消息发布到主题中。源连接器将在每次轮询时向topic发送数据和架构。我想检索这个模式 可能吗?怎么用?有人能推荐我吗 我的意图是基于Kafka connector on poll构建的模式创建一个KSQL流或表。实现这一点的最佳方法是使用Avro,其中模式单独存储,并由Kafka Connect和KSQL自动使用 您可以通过将Kafka Connect配置为使用AvroConverter来使用Avro。在Kafka Connect辅助程序

我正在使用Confluent JDBC Kafka连接器将消息发布到主题中。源连接器将在每次轮询时向topic发送数据和架构。我想检索这个模式

可能吗?怎么用?有人能推荐我吗


我的意图是基于Kafka connector on poll构建的模式创建一个KSQL流或表。

实现这一点的最佳方法是使用Avro,其中模式单独存储,并由Kafka Connect和KSQL自动使用

您可以通过将Kafka Connect配置为使用AvroConverter来使用Avro。在Kafka Connect辅助程序配置集中:

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://schema-registry:8081
(将架构注册表更新为运行架构注册表的主机名)

从这里开始,在KSQL中,您只需使用

CREATE STREAM my_stream WITH (KAFKA_TOPIC='source_topic', VALUE_FORMAT='AVRO');
您不需要在这里指定模式本身,因为KSQL从模式注册表获取它

您可以阅读更多关于转换器和串行器的信息


免责声明:我为Confluent工作,并撰写了引用的博客文章。

我看到了你的文章。但我这里有两个问题。1.我正在使用confluent JDBC连接器,它以分隔格式发送记录。它还能用吗?2.如果更新了架构,会发生什么。KSQL能够引用更新的模式吗?第一个问题的答案是肯定的,但请确认。请回答第二个问题1。JDBC连接器使用Kafka Connect API,该API支持多个转换器,包括JSON、Avro等。因此,“JDBC连接器以分隔格式发送记录”并非如此。它可以配置发送数据的格式。当您针对主题创建新流时,KSQL应该提取模式的最新版本,是的。