Cluster computing Spark：如何在独立模式下设置特定于工作人员的Spark_主页

我正在建立一个[有点特别的]Spark工人集群：也就是说，我坐在旁边的两台实验室机器。但是，当我尝试使用

start all.sh

启动集群时，遇到了一个问题：即，Spark安装在各个Worker上的不同目录中。但主机使用

$SPARK\u HOME

的主机定义对每台机器调用

$SPARK\u HOME/sbin/start all.sh

，即使每个工人的路径不同

假设我不能在每个辅助进程到主进程的相同路径上安装Spark，我如何让主进程识别不同的辅助进程路径

---

EDIT#1Hmm，发现，强烈建议这是当前的实现——假设

$SPARK#u HOME

对所有工作人员都是相同的。

我正在Windows（我的笔记本电脑）上玩SPARK，通过使用包含以下内容的脚本手动启动两个工作人员节点来运行它们

set SPARK_HOME=C:\dev\programs\spark-1.2.0-worker1
set SPARK_MASTER_IP=master.brad.com 
spark-class org.apache.spark.deploy.worker.Worker spark://master.brad.com:7077 

然后，我创建了这个脚本的一个副本，其中定义了一个不同的SPARK_HOME来运行我的第二个worker。当我启动spark submit时，我在

Worker_1

15/02/13 16:42:10 INFO ExecutorRunner: Launch command: ...C:\dev\programs\spark-1.2.0-worker1\bin...

这是在

Worker_2

15/02/13 16:42:10 INFO ExecutorRunner: Launch command: ...C:\dev\programs\spark-1.2.0-worker2\bin...

---

所以它是有效的，在我的例子中，我复制了Spice安装目录，但是你可以绕过这个

你可能想考虑通过改变<代码> SpkPoWorksEdir < /Cord>行>在<代码> SCAP.EVV.S/<代码>文件中分配名称。p> 你介意看看我对这个邮件列表的回复吗？我有一个关于为每个工作者配置不同的

log4j.properties

的问题，我似乎无法克服。这不是我在现实中会用到的，但对于闲逛和了解发生了什么会有帮助