Apache kafka 使用DNS访问Kafka群集

Apache kafka 使用DNS访问Kafka群集,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我们正在生产系统中运行Kafka群集(3个物理节点),我们的应用程序将事件推送到Kafka,由某个diff团队拥有的Kafka消费者使用 问题:现在,每当我们的数据中心从DC1更改为DC2时,我们的卡夫卡IP都会发生变化,我们必须要求消费者更改IP并在其末端进行部署,这在我看来很奇怪 问题:我们是否有办法公开DNS背后的Kafka代理,并在从DC1移动到DC2时更改DNS背后的IP,或者反之亦然,以避免消费者方面的更改?我知道有很多听众,但这样行吗?我关心的是安全性。您可以使用VIP,然后在您的

我们正在生产系统中运行Kafka群集(3个物理节点),我们的应用程序将事件推送到Kafka,由某个diff团队拥有的Kafka消费者使用

问题:现在,每当我们的数据中心从DC1更改为DC2时,我们的卡夫卡IP都会发生变化,我们必须要求消费者更改IP并在其末端进行部署,这在我看来很奇怪


问题:我们是否有办法公开DNS背后的Kafka代理,并在从DC1移动到DC2时更改DNS背后的IP,或者反之亦然,以避免消费者方面的更改?我知道有很多听众,但这样行吗?我关心的是安全性。

您可以使用VIP,然后在您的消费者应用程序配置中使用它, 因此,暴露于VIP和实际IP的消费者应用程序可以更改

如下

卡夫卡: 引导服务器:vip主机:9092

请参见为生产者提供的信息,但也应以同样的方式为消费者提供信息


此外,提出并采用的这一点可能有助于了解更多信息。

VIP可能具有相同的IP,但卡夫卡消费者试图建立的连接,如何工作?消费者需要重启吗?bcz没有创建VIP,我们尝试为3个代理节点创建3个DNS,但Kafka消费者仍然需要重新启动DNS更改bcz Kafka元数据没有得到刷新consumers@RE350这是Java DNS缓存的一个问题,不Kafka@cricket_007这个问题不应该与元数据刷新间隔有关吗???@RE3您指的是哪个属性?