Apache kafka 如果整个集群崩溃,卡夫卡的消费者群体会怎么样?

Apache kafka 如果整个集群崩溃,卡夫卡的消费者群体会怎么样?,apache-kafka,kafka-consumer-api,apache-kafka-connect,Apache Kafka,Kafka Consumer Api,Apache Kafka Connect,我们有一个消费者服务,它总是试图使用消费者组从主题中读取数据。由于重新部署,我们的卡夫卡集群会定期关闭并重新创建 每当集群再次出现时,我们观察到,尽管前面的主题被拾取(可能来自zookeeper),但前面的消费群体并没有被创建。正因为如此,我们正在运行的消费者流程(由以前的消费者组创建)被卡住了,永远不会出现 消费者群体的行为应该是这样的,还是我们需要在某个地方启用配置 非常感谢您的帮助 Kafka代理保留健康消费者和消费者群体的缓存,如果整个集群被破坏/重新创建,它将不再了解这些消费者和群体,

我们有一个消费者服务,它总是试图使用消费者组从主题中读取数据。由于重新部署,我们的卡夫卡集群会定期关闭并重新创建

每当集群再次出现时,我们观察到,尽管前面的主题被拾取(可能来自zookeeper),但前面的消费群体并没有被创建。正因为如此,我们正在运行的消费者流程(由以前的消费者组创建)被卡住了,永远不会出现

消费者群体的行为应该是这样的,还是我们需要在某个地方启用配置


非常感谢您的帮助

Kafka代理保留健康消费者和消费者群体的缓存,如果整个集群被破坏/重新创建,它将不再了解这些消费者和群体,包括偏移量。消费者将不得不重新连接并重新建立组,并从主题的开头开始偏移


从操作上讲,保持Kafka集群长期运行更为合理,并且以一种不中断服务的方式运行。

这些重启都发生在我们的开发环境中。这就是它被重新部署的原因<代码>消费者必须重新连接并重新建立组,并从主题开始偏移-消费者正在尝试使用同一消费者组重新连接。那不管用吗?我假设新连接应该再次创建这个消费群体,至少偏移量为零。但这并没有发生。如果整个集群被摧毁,它将不知道以前的任何消费群体。如果指定相同的消费者组详细信息,则无所谓;就集群而言,它从未听说过这个消费群体,因此必须从一个全新的群体开始。我理解集群将不了解以前的消费群体。但是,当现有消费者尝试连接到新集群时,不应该创建新的消费者组吗?现在,当这种情况发生时,消费者就会陷入困境。