Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/multithreading/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Multithreading Kafka客户线程、任务、分区?_Multithreading_Apache Kafka_Consumer - Fatal编程技术网

Multithreading Kafka客户线程、任务、分区?

Multithreading Kafka客户线程、任务、分区?,multithreading,apache-kafka,consumer,Multithreading,Apache Kafka,Consumer,我有一个卡夫卡集群,它有3台机器。一个主题有6个分区(每台机器2个分区)。 当我启动一个消费者应用程序时,它有6个消费者线程,属于一个组。我知道一个消费者线程将被分配一个分区。 我想知道的是:使用者线程的任务将在分区所在的机器上运行?或者将在启动应用程序的机器上运行?您所谈论的模型听起来像是Apache Spark的模型,其中用于处理数据的工作程序在开发人员/用户机器上的驱动程序应用程序协调的工作程序节点上运行。 卡夫卡不是这样工作的。 Kafka代理独立于Kafka应用程序,用户在该应用程序中

我有一个卡夫卡集群,它有3台机器。一个主题有6个分区(每台机器2个分区)。 当我启动一个消费者应用程序时,它有6个消费者线程,属于一个组。我知道一个消费者线程将被分配一个分区。
我想知道的是:使用者线程的任务将在分区所在的机器上运行?或者将在启动应用程序的机器上运行?

您所谈论的模型听起来像是Apache Spark的模型,其中用于处理数据的工作程序在开发人员/用户机器上的驱动程序应用程序协调的工作程序节点上运行。 卡夫卡不是这样工作的。 Kafka代理独立于Kafka应用程序,用户在该应用程序中运行以从主题/分区获取消息。 启动消费者应用程序(即应用程序运行的机器)的位置;它不会在代理节点上运行。具有相关使用者的应用程序将连接到“远程”代理节点以获取消息。 同样,您可以在代理节点上运行Kafka应用程序,就像运行另一个JVM进程一样,但这不是您上面描述的模型(正如我所说的,它更像ApacheSpark)