Apache kafka 当我们使用kafka进行spark流时,我们如何计划kafka群集的中断

Apache kafka 当我们使用kafka进行spark流时,我们如何计划kafka群集的中断,apache-kafka,spark-streaming,spark-streaming-kafka,Apache Kafka,Spark Streaming,Spark Streaming Kafka,如果由于某种原因,我们需要关闭kafka群集,并且源代码仍继续生成数据,那么将丢失数据,我们如何计划kafka群集的中断 请告知我们如何处理这种情况 我已经试过搜索,但找不到答案。我想你的问题不清楚。如果你的整个卡夫卡集群都关闭了,你如何获取数据?@piyush我现在已经纠正了我的问题。我觉得旧的有点混乱。jin,我认为如果你有整个集群的停机计划,你必须将feed指向其他集群,不确定这在你的情况下是否可行。如果您计划单代理中断,那么其他代理将分发消息,这是可能的。谢谢Piyush的回复。正如你所

如果由于某种原因,我们需要关闭kafka群集,并且源代码仍继续生成数据,那么将丢失数据,我们如何计划kafka群集的中断

请告知我们如何处理这种情况


我已经试过搜索,但找不到答案。

我想你的问题不清楚。如果你的整个卡夫卡集群都关闭了,你如何获取数据?@piyush我现在已经纠正了我的问题。我觉得旧的有点混乱。jin,我认为如果你有整个集群的停机计划,你必须将feed指向其他集群,不确定这在你的情况下是否可行。如果您计划单代理中断,那么其他代理将分发消息,这是可能的。谢谢Piyush的回复。正如你所建议的,我们可以采用绿色蓝色部署模型,但你认为这可以用于已经生产的系统吗?我想不出为什么它不能,但你需要考虑与拥有相同系统作为备用的成本,大多数组织都不愿意这样做。在我们的组织中,大多数情况下,如果硬件问题发生,它们会发生在单个节点上,我们在该节点上执行维护任务,然后使该服务器重新联机。我认为大多数组织也会这样做。如果答案是肯定的,请投你的一票。