Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/mysql/57.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka Kafka连接JDBC接收器是否可以转储原始数据?_Apache Kafka_Apache Kafka Connect - Fatal编程技术网

Apache kafka Kafka连接JDBC接收器是否可以转储原始数据?

Apache kafka Kafka连接JDBC接收器是否可以转储原始数据?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,部分是为了测试和调试,但也为了解决我们在主题中看到的一个问题,我们无法更改生产者,我希望能够将值作为字符串存储在数据库表中的CLOB中 作为一个基于Java的消费者,我正在研究是否可以使用Kafka Connect实现这一点 我读到的所有内容都表明,您需要一个模式,其理由是它如何知道如何将数据处理为列(这是有意义的),但我不想对数据进行任何处理(可以是JSON,但可能只是文本),我只想将整个值视为字符串并将其加载到一列中 是否有任何方法可以在Connect config中实现这一点,或者我正在考

部分是为了测试和调试,但也为了解决我们在主题中看到的一个问题,我们无法更改生产者,我希望能够将值作为字符串存储在数据库表中的CLOB中

作为一个基于Java的消费者,我正在研究是否可以使用Kafka Connect实现这一点

我读到的所有内容都表明,您需要一个模式,其理由是它如何知道如何将数据处理为列(这是有意义的),但我不想对数据进行任何处理(可以是JSON,但可能只是文本),我只想将整个值视为字符串并将其加载到一列中


是否有任何方法可以在Connect config中实现这一点,或者我正在考虑添加额外的处理来更新消息(在这种情况下,Java客户端可能会变得更简单)

否,JDBC接收器连接器需要一个模式才能工作。您可以修改以添加此行为

我个人会坚持使用Kafka Connect将数据流传输到数据库,因为它可以很好地完成所有困难的事情(扩展、重新启动等)。根据您所讨论的处理方式,单消息转换可能非常适用,因为它们适合于Kafka Connect管道。对于更复杂的处理,可以使用Kafka Streams或ksqlDB