Apache kafka Kafka群集在云上迁移,当偏移量由我们管理时,如何确保消费者使用正确的偏移量?

Apache kafka Kafka群集在云上迁移,当偏移量由我们管理时,如何确保消费者使用正确的偏移量?,apache-kafka,Apache Kafka,对于将Kafka群集从AWS迁移到AZURE,我们面临的挑战是,我们正在为消费者使用自定义偏移管理。如果我用偏移量复制ZK节点,Kafka镜像将更改这些偏移量。有没有办法确保偏移量相同,以便迁移能够顺利进行?我认为问题可能在于您的自定义管理。没有更多的细节,很难给出建议 我在尝试复制偏移量时看到的问题是,您使用集群A,主题T偏移量1000。将其复制到一个全新的集群B,现在有了主题T,偏移量0。在这种情况下,让消费者从偏移量1000开始将失败,或者如果至少镜像了1000条消息,那么您实际上跳过了该

对于将Kafka群集从AWS迁移到AZURE,我们面临的挑战是,我们正在为消费者使用自定义偏移管理。如果我用偏移量复制ZK节点,Kafka镜像将更改这些偏移量。有没有办法确保偏移量相同,以便迁移能够顺利进行?

我认为问题可能在于您的自定义管理。没有更多的细节,很难给出建议

我在尝试复制偏移量时看到的问题是,您使用集群A,主题T偏移量1000。将其复制到一个全新的集群B,现在有了主题T,偏移量0。在这种情况下,让消费者从偏移量1000开始将失败,或者如果至少镜像了1000条消息,那么您实际上跳过了该数据


对于较新版本的Kafka(0.10之后),MirrorMaker使用
\uu consumer\u offset
主题,而不是Zookeeper,因为它构建在较新的Java客户端上

至于复制工具,使用ZooKeeper进行偏移

还有其他不同的工具来管理偏移,例如或通过Kafka Connect框架


企业支持的工具将是Confluent Replicator,它具有处理群集故障切换和迁移的独特方法