Apache kafka 消费者组能否跨多台服务器?

Apache kafka 消费者组能否跨多台服务器?,apache-kafka,kafka-consumer-api,Apache Kafka,Kafka Consumer Api,在Kafka中创建使用者组时,是否会创建在同一JVM进程上运行的工作者池,或者使用者组可以跨多台计算机/节点 如果它跨越多台计算机,那么很难跟踪偏移量等 “它是否创建了在同一jvm进程上运行的工作线程池,或者一个使用者组是否可以跨多台计算机/节点?” 这取决于为用户组创建多少jvm进程。是的,它可以跨越多个计算机/节点。然后,卡夫卡的组协调器将为主题的分区分配各个线程。请注意,同一使用者组中的一个使用者(jvm进程)最多可以使用一个TopicPartition “如果它跨越多台计算机,则很难跟踪

在Kafka中创建使用者组时,是否会创建在同一JVM进程上运行的工作者池,或者使用者组可以跨多台计算机/节点

如果它跨越多台计算机,那么很难跟踪偏移量等

“它是否创建了在同一jvm进程上运行的工作线程池,或者一个使用者组是否可以跨多台计算机/节点?”

这取决于为用户组创建多少jvm进程。是的,它可以跨越多个计算机/节点。然后,卡夫卡的组协调器将为主题的分区分配各个线程。请注意,同一使用者组中的一个使用者(jvm进程)最多可以使用一个TopicPartition

“如果它跨越多台计算机,则很难跟踪偏移量等。”


Kafka将每个消费群体的所有元信息和进度集中存储在一个名为“消费群体偏移量”的内部主题中,这一主题在整个集群中都可用,只要所有节点都属于同一集群。

首先,您不直接创建消费群体。您只需创建消费者和具有相同
组的消费者。id
将表示一个消费者组。当多个消费者 订阅了一个主题并属于同一消费者组,每个消费者 该组将接收来自主题中不同分区子集的消息。如下图所示:

当然,您可以在不同的服务器中创建这些使用者,这是负载平衡的推荐方法

卡夫卡将每个消费群体的偏移量存储在名为
的主题中。所以跟踪偏移量并不是那么难。可以使用以下命令检查耗电元件组的耗电元件偏移: