Apache spark 如何在同一台机器上创建2个spark Master/Worker?

Apache spark 如何在同一台机器上创建2个spark Master/Worker?,apache-spark,Apache Spark,通过定义不同的端口,我原本希望在同一台机器上启动2台主机,但失败惨重: $ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011 starting org.apache.spark.deploy.master.Master, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.mast

通过定义不同的端口,我原本希望在同一台机器上启动2台主机,但失败惨重:

$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011
starting org.apache.spark.deploy.master.Master, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.master.Master-1-scicomp-mac-12.local.out
$ $SPARK_HOME/sbin/start-master.sh --port 8002 --webui-port 8012
org.apache.spark.deploy.master.Master running as process 29436.  Stop it first.
为什么不起作用?我是否需要调整更多设置以允许多个实例

按照同样的逻辑,我可能希望在同一台机器上启动两个工人。但是,即使它们应该连接到不同的主机,也会出现类似的错误:

$SPARK_HOME/sbin/start-slave.sh --webui-port 8050 spark://foo:7077
starting org.apache.spark.deploy.worker.Worker, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandl-org.apache.spark.deploy.worker.Worker-1-scicomp-mac-12.local.out
starting org.apache.spark.deploy.worker.Worker, logging to /Users/brandl/bin/spark-2.2.0-bin-hadoop2.7/logs/spark-brandlorg.apache.spark.deploy.worker.Worker-2-scicomp-mac-12.local.out
$SPARK_HOME/sbin/start-slave.sh --webui-port 8051 spark://bar:7077
org.apache.spark.deploy.worker.Worker running as process 29503.  Stop it first.
org.apache.spark.deploy.worker.Worker running as process 29526.  Stop it first.

如果检查了,但找不到任何关于我做错了什么的指导。

因为这里没有答案,我回到火花源,搜索抛出错误的地方。这揭示了通过设置不同的SPARK_IDENT_字符串,多个主机和工人可以在同一台机器上运行

$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011
export SPARK_IDENT_STRING=foo
$ $SPARK_HOME/sbin/start-master.sh --port 8002 --webui-port 8012

默认值是用户名$USER

,因为这里没有答案,我回到spark源,搜索抛出错误的位置。这揭示了通过设置不同的SPARK_IDENT_字符串,多个主机和工人可以在同一台机器上运行

$ $SPARK_HOME/sbin/start-master.sh --port 8001 --webui-port 8011
export SPARK_IDENT_STRING=foo
$ $SPARK_HOME/sbin/start-master.sh --port 8002 --webui-port 8012
默认值是用户名$USER