Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache kafka 消费者如何在主动-主动卡夫卡设置中设置_Apache Kafka_Disaster Recovery_Apache Kafka Mirrormaker - Fatal编程技术网

Apache kafka 消费者如何在主动-主动卡夫卡设置中设置

Apache kafka 消费者如何在主动-主动卡夫卡设置中设置,apache-kafka,disaster-recovery,apache-kafka-mirrormaker,Apache Kafka,Disaster Recovery,Apache Kafka Mirrormaker,我们正在使用Mirror Maker 2.0进行主题重命名的活动Kafka群集设置,如中所述。我相信主题(如美国电子邮件)的设置如下: dc1 美国电子邮件 us-email-dc2(dc2的镜像) dc2 美国电子邮件 us-email-dc1(dc1的镜像) 生产者可以向其本地DC发布,两个集群都将包含这两个DC的数据。到目前为止还不错 消费者应用程序将订阅通配符主题(美国电子邮件-*)以读取两个DC的数据。如果是这种情况,我是否设置了一个消费者来读取他们各自的DC?在这种情况下,由于镜像,

我们正在使用Mirror Maker 2.0进行主题重命名的活动Kafka群集设置,如中所述。我相信主题(如美国电子邮件)的设置如下:

dc1
  • 美国电子邮件
  • us-email-dc2(dc2的镜像)
  • dc2
  • 美国电子邮件
  • us-email-dc1(dc1的镜像)
  • 生产者可以向其本地DC发布,两个集群都将包含这两个DC的数据。到目前为止还不错

    消费者应用程序将订阅通配符主题(美国电子邮件-*)以读取两个DC的数据。如果是这种情况,我是否设置了一个消费者来读取他们各自的DC?在这种情况下,由于镜像,reach消息将读取重复消息。或者建议一次仅将单个消费者组指向单个DC,以防止重复?如果是,如果单个DC出现故障,故障切换将如何进行


    两个数据中心的用户是否都必须指向单个DC

    消费者不能从多个引导服务器列表中读取数据,因此是的

    是否存在手动故障切换

    不清楚你说的手动是什么意思

  • 如果镜像或目标代理失败,则使用者将停止读取任何内容
  • 如果源已关闭,则镜像将停止,返回(1)
  • 两个DC中的消费者也将获得复制的消息


    镜像不能保证一次完全交付

    无法实现自动故障切换。每当一个dc出现故障时,您必须手动更新耗电元件以读取其他dc。关于消费者补偿,我不确定它们是否同步,是否允许您继续或将消费者视为新的消费者群体。

    “两个数据中心的消费者是否必须指向单个DC”-我的问题是,在活动-活动配置中,消费者是否指向各自的DC或单个DC?如果我指向它们各自的DC,我的消费者应用程序将始终收到同一消息的两个副本,因为该消息与其他DC镜像,反之亦然。这是预期的吗?它们可以指向任何一个,但理想情况下,您需要的是具有较低延迟/较少网络跳数的。无法在目标DC读取“源”主题,因为它不存在,因为它将被重命名为目标。您可以选择从任一DC消费,但只能从一个DC消费。在故障转移的情况下,您可以使用同一消费者组从其他dc开始消费。在使用之前,请确保使用RemoteClusterUtils映射到其他dc中的正确偏移量