Apache kafka 将消费者偏移量迁移到新集群的最佳方法是什么?

Apache kafka 将消费者偏移量迁移到新集群的最佳方法是什么?,apache-kafka,cloudera,apache-kafka-mirrormaker,Apache Kafka,Cloudera,Apache Kafka Mirrormaker,我正处于将大型集群迁移到新数据中心的阶段。我正在使用MirrorMaker工具对主题进行镜像。我需要将uu consumer_offset主题迁移到新集群。移动此主题的步骤是什么 我的消费者财产 bootstrap.servers=<server_dns>:9092 exclude.internal.topics=false client.id=mirror_maker_consumer_all group.id=mirror_maker_consumer_all bootstra

我正处于将大型集群迁移到新数据中心的阶段。我正在使用MirrorMaker工具对主题进行镜像。我需要将uu consumer_offset主题迁移到新集群。移动此主题的步骤是什么

我的消费者财产

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all
bootstrap.servers=:9092
exclude.internal.topics=false
client.id=mirror\u maker\u consumer\u all
group.id=mirror\u maker\u consumer\u all
地产商

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets
bootstrap.servers=:9092
acks=1
批量大小=10000
timeout.ms=3000
client.id=mirror\u maker\u consumer\u偏移量

我使用num.streams=10和whitelist='.*'运行MirrorMaker。使用MirrorMaker,您无法镜像该主题。集群之间的偏移量通常不同,因此该主题中的数据在新集群中没有意义

MirrorMaker2解决了这个问题,能够在集群之间复制偏移量。MirrorMaker2现在是推荐的工具,它取代了旧的MirrorMaker


查看MirrorMaker2自述,了解其功能和运行方法的详细信息:

谢谢@Mickeel Maison。让我看看这个。