Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在5节点群集上的每个节点上设置多代理kafka_Hadoop_Server_Config_Nodes_Apache Kafka - Fatal编程技术网

Hadoop 在5节点群集上的每个节点上设置多代理kafka

Hadoop 在5节点群集上的每个节点上设置多代理kafka,hadoop,server,config,nodes,apache-kafka,Hadoop,Server,Config,Nodes,Apache Kafka,我们有一个沙箱,其中有5个节点,所有5个节点都运行kafka代理(代理id=0) 现在,我已经在所有5个节点上复制了配置文件,这些节点具有不同的代理id和日志文件目录,以便运行多个代理 -rw-r--r-- 1 root root 5652 Apr 2 23:01 server.properties - (this one being the default) -rw-r--r-- 1 root root 5675 Apr 2 23:02 server1.properties -rw-r--

我们有一个沙箱,其中有5个节点,所有5个节点都运行kafka代理(代理id=0) 现在,我已经在所有5个节点上复制了配置文件,这些节点具有不同的代理id和日志文件目录,以便运行多个代理

-rw-r--r-- 1 root root 5652 Apr  2 23:01 server.properties - (this one being the default)
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server1.properties
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server2.properties
现在,我是否使用新的配置文件在所有5个节点上启动kafka

./kafka-server-start.sh config/server1.properties &
./kafka-server-start.sh config/server2.properties &
是否每个节点都将运行3个代理??或者它的3个经纪人为整个集群??
这是如何工作的?如果有任何帮助,我们将不胜感激???

集群中的每个节点都应该只有一个配置文件,并且kafka server start应该在每个节点上只运行一次。例如,服务器1只需要有一个包含的配置文件,例如broker.id=1

每次运行kafka server start时,您都在启动一个代理(即服务器)。当代理启动时,卡夫卡将通过ZooKeeper找到其他代理。这允许在集群中添加和删除新代理,而无需任何额外的配置文件来指定集群中的其他节点,也无需对现有节点进行任何重新配置


如果您在同一节点上多次运行kafka server start,那么您确实在同一节点上启动了多个代理,但这不是您想要的。

Thnx用于响应-但我的意图是在每个集群上运行3个代理,是的,我为每个配置文件运行了kafka server start 3次,因此,每个节点将有3个代理