Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 是否可以使用Kafka Connect将RDBMS表镜像到Kafka流?_Apache Kafka_Apache Kafka Connect - Fatal编程技术网

Apache kafka 是否可以使用Kafka Connect将RDBMS表镜像到Kafka流?

Apache kafka 是否可以使用Kafka Connect将RDBMS表镜像到Kafka流?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我知道可以使用Kafka Connect将更新从数据库推送到Kafka流。我的问题是,我是否可以创建一个消费者,将同一流中的更改写回表中,而不创建无限循环 我假设如果我创建一个将更新写入数据库表的使用者,它将触发Connect以将更新推送到流中,等等。有没有办法将数据库表镜像到流中?是的。可以配置同步/复制。您可以使用for Kafka Connect将Kafka主题流式传输到数据库 您需要在业务逻辑中编写代码,以避免在连接器或使用者中出现无限复制循环。例如: JDBC源连接器使用WHERE子句

我知道可以使用Kafka Connect将更新从数据库推送到Kafka流。我的问题是,我是否可以创建一个消费者,将同一流中的更改写回表中,而不创建无限循环


我假设如果我创建一个将更新写入数据库表的使用者,它将触发Connect以将更新推送到流中,等等。有没有办法将数据库表镜像到流中?

是的。可以配置同步/复制。

您可以使用for Kafka Connect将Kafka主题流式传输到数据库

您需要在业务逻辑中编写代码,以避免在连接器或使用者中出现无限复制循环。例如:

JDBC源连接器使用WHERE子句仅提取设置了标志以指示它们是原始记录的记录 在源连接器中进行自定义单个消息转换,以删除设置了标志以指示它们不是原始记录的记录 流应用程序(如KSQL/Kafka Streams)处理所有数据库更改的入站流,以仅过滤那些设置了标志以指示它们是原始记录的数据流 效率低下,因为您仍然在从数据库中流式传输所有内容
谢谢,我对术语没有把握。是否有一些文档我可以阅读更多关于这方面的信息?