Apache kafka 是否可以使用Kafka Connect将RDBMS表镜像到Kafka流?
我知道可以使用Kafka Connect将更新从数据库推送到Kafka流。我的问题是,我是否可以创建一个消费者,将同一流中的更改写回表中,而不创建无限循环Apache kafka 是否可以使用Kafka Connect将RDBMS表镜像到Kafka流?,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,我知道可以使用Kafka Connect将更新从数据库推送到Kafka流。我的问题是,我是否可以创建一个消费者,将同一流中的更改写回表中,而不创建无限循环 我假设如果我创建一个将更新写入数据库表的使用者,它将触发Connect以将更新推送到流中,等等。有没有办法将数据库表镜像到流中?是的。可以配置同步/复制。您可以使用for Kafka Connect将Kafka主题流式传输到数据库 您需要在业务逻辑中编写代码,以避免在连接器或使用者中出现无限复制循环。例如: JDBC源连接器使用WHERE子句
我假设如果我创建一个将更新写入数据库表的使用者,它将触发Connect以将更新推送到流中,等等。有没有办法将数据库表镜像到流中?是的。可以配置同步/复制。您可以使用for Kafka Connect将Kafka主题流式传输到数据库 您需要在业务逻辑中编写代码,以避免在连接器或使用者中出现无限复制循环。例如: JDBC源连接器使用WHERE子句仅提取设置了标志以指示它们是原始记录的记录 在源连接器中进行自定义单个消息转换,以删除设置了标志以指示它们不是原始记录的记录 流应用程序(如KSQL/Kafka Streams)处理所有数据库更改的入站流,以仅过滤那些设置了标志以指示它们是原始记录的数据流 效率低下,因为您仍然在从数据库中流式传输所有内容
谢谢,我对术语没有把握。是否有一些文档我可以阅读更多关于这方面的信息?