Apache kafka 来自不同群体的卡夫卡消费者来自不同的主题划分

Apache kafka 来自不同群体的卡夫卡消费者来自不同的主题划分,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,我有一个场景,在不同的节点上部署了4个Kafka Consumer实例。我的主题有4个分区。现在,我想以这样一种方式配置使用者,即它们都从主题的不同分区获取 我知道一个事实,如果消费者来自同一消费者组,他们会确保分区被平均分割。但是在我的例子中,他们不在同一个群体中。为了实现你想要的,你需要消费者在同一个消费者群体中。只有在这种情况下,才会应用“竞争消费者”模式:每个消费者从4个分区接收1个分区,因此您有4个消费者,每个消费者从1个分区读取数据并接收该分区的消息。 当消费者是不同消费者组的一部分

我有一个场景,在不同的节点上部署了4个Kafka Consumer实例。我的主题有4个分区。现在,我想以这样一种方式配置使用者,即它们都从主题的不同分区获取


我知道一个事实,如果消费者来自同一消费者组,他们会确保分区被平均分割。但是在我的例子中,他们不在同一个群体中。

为了实现你想要的,你需要消费者在同一个消费者群体中。只有在这种情况下,才会应用“竞争消费者”模式:每个消费者从4个分区接收1个分区,因此您有4个消费者,每个消费者从1个分区读取数据并接收该分区的消息。
当消费者是不同消费者组的一部分时,每个消费者将被分配到所有4个分区,以发布/订阅的方式接收来自所有消费者的消息。

为了实现您想要的,您需要消费者位于同一消费者组中。只有在这种情况下,才会应用“竞争消费者”模式:每个消费者从4个分区接收1个分区,因此您有4个消费者,每个消费者从1个分区读取数据并接收该分区的消息。
当消费者是不同消费者组的一部分时,每个消费者将被分配到所有4个分区,以发布/订阅的方式接收来自他们所有人的消息。

为什么他们不在同一消费者组中?你能不能改变一下,把他们都放在同一个消费群体里?这就是我最后要做的。早些时候我脑子里有一些疯狂的想法。无论如何,谢谢你。为什么他们不属于同一个消费群体?你能不能改变一下,把他们都放在同一个消费群体里?这就是我最后要做的。早些时候我脑子里有一些疯狂的想法。无论如何,谢谢你。