Apache kafka 运行两个MirrorMaker 2.0实例，停止更新主题的数据复制

我们使用mirror maker 2.0尝试了下面的场景，想知道第二个场景的输出是否符合预期

场景1。）我们使用以下属性和start命令运行了single mirror maker 2.0实例。

clusters=a,b
tasks.max=10
a.bootstrap.servers=kf-test-cluster-a:9092
a.config.storage.replication.factor=1
a.offset.storage.replication.factor=1
a.security.protocol=PLAINTEXT
a.status.storage.replication.factor=1
b.bootstrap.servers=kf-test-cluster-b:9092
b.config.storage.replication.factor=1
b.offset.storage.replication.factor=1
b.security.protocol=PLAINTEXT
b.status.storage.replication.factor=1
a->b.checkpoints.topic.replication.factor=1
a->b.emit.checkpoints.enabled=true
a->b.emit.hearbeats.enabled=true
a->b.enabled=true
a->b.groups=group1|group2|group3
a->b.heartbeats.topic.replication.factor=1
a->b.offset-syncs.topic.replication.factor=1
a->b.refresh.groups.interval.seconds=30
a->b.refresh.topics.interval.seconds=10
a->b.replication.factor=2
a->b.sync.topic.acls.enabled=false
a->b.topics=.*

启动命令：/usr/bin/connect-mirror-maker.sh connect-mirror-maker.properties&

验证：在源群集（a）上创建新主题“测试”，在源群集上为主题生成数据，并在目标群集（b）上运行使用者，主题“a.test”验证数据复制

观察结果：工作正常

场景2.）使用上述相同的属性运行了MirrorMaker 2.0的另一个实例。

clusters=a,b
tasks.max=10
a.bootstrap.servers=kf-test-cluster-a:9092
a.config.storage.replication.factor=1
a.offset.storage.replication.factor=1
a.security.protocol=PLAINTEXT
a.status.storage.replication.factor=1
b.bootstrap.servers=kf-test-cluster-b:9092
b.config.storage.replication.factor=1
b.offset.storage.replication.factor=1
b.security.protocol=PLAINTEXT
b.status.storage.replication.factor=1
a->b.checkpoints.topic.replication.factor=1
a->b.emit.checkpoints.enabled=true
a->b.emit.hearbeats.enabled=true
a->b.enabled=true
a->b.groups=group1|group2|group3
a->b.heartbeats.topic.replication.factor=1
a->b.offset-syncs.topic.replication.factor=1
a->b.refresh.groups.interval.seconds=30
a->b.refresh.topics.interval.seconds=10
a->b.replication.factor=2
a->b.sync.topic.acls.enabled=false
a->b.topics=.*

启动命令：/usr/bin/connect-mirror-maker.sh connect-mirror-maker.properties&

验证：在源集群上再创建一个“test2”主题，在源集群上为主题生成数据，并在目标集群（b）上运行使用者，主题“a.test2”以验证数据复制

观察结果：MM2能够在目标集群上复制主题，a.test2出现在目标集群b上，但消费者没有获得任何记录

在较新的mirror maker 2.0实例日志上，在主题复制之后，mirror sourceconnector任务尚未重新启动，而该任务在主题复制之后在单个实例中重新启动

---

注意：没有看到错误日志。

我观察到了相同的行为，您的邮件很可能已被复制，您可以通过检查您的消费者组偏移量来验证这一点，问题很可能是您的延迟偏移量为0，这意味着您的消费者假设以前的所有邮件都已被消费。您可以重置偏移或从头开始读取。 理想情况下，检查点心跳应该包含最新的偏移量，但我目前发现它是空的，即使从Kafka 2.7开始，检查点心跳复制应该是自动的