Apache kafka 以后更改Kafka平台而不影响表数据的可能性

Apache kafka 以后更改Kafka平台而不影响表数据的可能性,apache-kafka,apache-kafka-connect,Apache Kafka,Apache Kafka Connect,如果我将Kafka Connect实现为使用Source和Sink connector同步2个表,是否有可能在不影响表数据的情况下更改Kafka平台 我使用Kafka connect在micro services数据库之间同步数据,我预测将有一些实例需要从一个Kafka实例移动到另一个实例 情景: 如果我在表A中有100条记录,那么在表B中也会有同样的100条记录,并且主题T1用于同步。 如果我放弃现有的卡夫卡主题T1,为同一个任务创建一个新的主题T2(或者如果我从一个卡夫卡集群移动到另一个卡夫

如果我将Kafka Connect实现为使用Source和Sink connector同步2个表,是否有可能在不影响表数据的情况下更改Kafka平台

我使用Kafka connect在micro services数据库之间同步数据,我预测将有一些实例需要从一个Kafka实例移动到另一个实例

情景: 如果我在表A中有100条记录,那么在表B中也会有同样的100条记录,并且主题T1用于同步。
如果我放弃现有的卡夫卡主题T1,为同一个任务创建一个新的主题T2(或者如果我从一个卡夫卡集群移动到另一个卡夫卡集群),它会再次将表a中的100条记录带到表B中,从而导致重复吗?

不清楚“更改卡夫卡平台”的含义是什么

接收器连接器将读取记录存储为使用者组中的任何其他使用者

组ID及其相关的已使用主题偏移量存储回卡夫卡主题中


如果你改变集群、ID、主题等,你实际上是在建立一个新的消费群体,从而重新启动已经被消费的内容

现在还不清楚你所说的“改变卡夫卡平台”到底意味着什么

接收器连接器将读取记录存储为使用者组中的任何其他使用者

组ID及其相关的已使用主题偏移量存储回卡夫卡主题中


如果您更改了集群、ID、主题等,您实际上是在创建一个新的消费群体,从而重新启动已消费的内容

您好,谢谢您的回复。我的意思是,目前我们正在使用一个特定的云提供商kafka实例。如果我们有一个需求,需要从那个移动到合流卡夫卡,保持相同的数据库,从我们切换到合流卡夫卡的那天起,它应该从下一个记录开始同步,而不应该同步从开始到现在的整个记录集。我想这就解释了我的问题。1)“融合卡夫卡”不是一件事,所以数据格式没有改变。2) 请随意阅读有关Replicator Hi的一些文档,谢谢您的回复。我的意思是,目前我们正在使用一个特定的云提供商kafka实例。如果我们有一个需求,需要从那个移动到合流卡夫卡,保持相同的数据库,从我们切换到合流卡夫卡的那天起,它应该从下一个记录开始同步,而不应该同步从开始到现在的整个记录集。我想这就解释了我的问题。1)“融合卡夫卡”不是一件事,所以数据格式没有改变。2) 请随意阅读有关Replicator的一些文档