Apache kafka 消费者如何在主动-主动卡夫卡设置中设置
我们正在使用Mirror Maker 2.0进行主题重命名的活动Kafka群集设置,如中所述。我相信主题(如美国电子邮件)的设置如下: dc1Apache kafka 消费者如何在主动-主动卡夫卡设置中设置,apache-kafka,disaster-recovery,apache-kafka-mirrormaker,Apache Kafka,Disaster Recovery,Apache Kafka Mirrormaker,我们正在使用Mirror Maker 2.0进行主题重命名的活动Kafka群集设置,如中所述。我相信主题(如美国电子邮件)的设置如下: dc1 美国电子邮件 us-email-dc2(dc2的镜像) dc2 美国电子邮件 us-email-dc1(dc1的镜像) 生产者可以向其本地DC发布,两个集群都将包含这两个DC的数据。到目前为止还不错 消费者应用程序将订阅通配符主题(美国电子邮件-*)以读取两个DC的数据。如果是这种情况,我是否设置了一个消费者来读取他们各自的DC?在这种情况下,由于镜像,
两个数据中心的用户是否都必须指向单个DC 消费者不能从多个引导服务器列表中读取数据,因此是的 是否存在手动故障切换 不清楚你说的手动是什么意思
镜像不能保证一次完全交付无法实现自动故障切换。每当一个dc出现故障时,您必须手动更新耗电元件以读取其他dc。关于消费者补偿,我不确定它们是否同步,是否允许您继续或将消费者视为新的消费者群体。“两个数据中心的消费者是否必须指向单个DC”-我的问题是,在活动-活动配置中,消费者是否指向各自的DC或单个DC?如果我指向它们各自的DC,我的消费者应用程序将始终收到同一消息的两个副本,因为该消息与其他DC镜像,反之亦然。这是预期的吗?它们可以指向任何一个,但理想情况下,您需要的是具有较低延迟/较少网络跳数的。无法在目标DC读取“源”主题,因为它不存在,因为它将被重命名为目标。您可以选择从任一DC消费,但只能从一个DC消费。在故障转移的情况下,您可以使用同一消费者组从其他dc开始消费。在使用之前,请确保使用RemoteClusterUtils映射到其他dc中的正确偏移量