Apache kafka 合流Kafka Replicator |消费者组偏移量未复制到目标群集

更新：

通过为目标群集上的使用者设置FromStart:false找到了解决方法。不是一个最好的解决方案，但它是有效的

由于某些原因，所有使用者组偏移量都没有复制到目标群集。例如，我在源集群上启动了一个消费者，使用消费者组测试（提取所有消息），然后在复制到目标集群的同一主题上启动了一个消费者（使用消费者组测试），结果两个消费者都获得了所有消息

我读过，但没有成功

消费者配置：

bootstrap.servers=sourceKafkaEndpoint:9092
interceptor.classes=io.confluent.connect.replicator.offsets.ConsumerTimestampsInterceptor

bootstrap.servers=destKafkaEndpoint:9092

生产者配置：

bootstrap.servers=sourceKafkaEndpoint:9092
interceptor.classes=io.confluent.connect.replicator.offsets.ConsumerTimestampsInterceptor

bootstrap.servers=destKafkaEndpoint:9092

复制器配置：

connector.class=io.confluent.connect.replicator.ReplicatorSourceConnector
auto.offset.reset=latest
topic.config.sync=false
config.action.reload=none

可执行命令：

replicator --consumer.config consumer.properties --producer.config producer.properties --replication.config replication.properties --topic.regex ".*" --cluster.id replicator

卡夫卡信息：

Source cluster Kafka version: 2.0.1-cp4
Destination cluster Kafka version: 2.4.1

---

有什么想法吗？

这是一个老问题，自我猜以来，很多事情都发生了变化，但这是为了更好，因为现在Replicator的文档记录要好多了

如前所述：

Replicator不会复制内部消费者偏移或 __即使在topic.regex中匹配，事务也会从源集群中声明主题。要复制这些主题，请在topic.whitelist中列出它们

这是因为消费群体偏移在集群之间没有意义。你不能指望它们是一样的。有关详细信息，请参阅我的。

---

实现这一任务的唯一可靠方法是使用。它允许根据来自源集群的消息创建时间将

\u消费者\u偏移量

转换到目标集群。

这是否意味着偏移量根本不被复制？我们只是有那些指向某些偏移量的时间戳？它们不是“复制”的，而是“转换”的。这意味着您将像往常一样在目标集群中拥有您的_consumer_偏移量，但该主题中的值将与源集群中的值不同。但在数据中心提交偏移量时，将根据时间戳向另一个数据中心提交转换后的偏移量。正确的？。所以我们应该有“两个”提交，每个数据中心一个。这是对的吗？提交不过是“消费者补偿”主题中的一个记录，它解释了消费者群体仍然落后的程度。复制者的工作是转换和存储延迟，消费者自己不会同时向两个集群写入数据。这只是一种故障转移机制，即“当一个集群关闭时，切换到另一个集群”。