Apache spark 启动单火花从机（或工作机）

当我这么做的时候

spark-1.3.0-bin-hadoop2.4% sbin/start-slave.sh

我收到这个消息

failed to launch org.apache.spark.deploy.worker.Worker:
                         Default is conf/spark-defaults.conf.

即使我有这个：

spark-1.3.0-bin-hadoop2.4% ll conf | grep spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix  507 Apr 29 07:09 spark-defaults.conf
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix  507 Apr 13 12:06 spark-defaults.conf.template

知道为什么吗

---

谢谢

首先，您应该确保正确使用该命令

Usage: start-slave.sh <worker#> <spark-master-URL>

用法：start-slave.sh

其中

是要在运行此脚本的计算机上启动的工作人员编号。

---

就像

spark://localhost:7077

我使用的是spark 1.6.1，您不再需要指示工作人员编号，因此实际使用是：

start-slave.sh spark://<master>:<port>

start-slave.sh spark://:

谢谢，是的，我知道worker#，但是如果在spark defaults.conf中指定了spark url，为什么我需要指定spark url？@jakstack，您使用的是哪个版本的spark？除非给出主url，否则我无法启动slave，因为在spark 1.3.1中，它将首先检查参数号。谢谢，我使用的是1.3.0，您的建议也适用于此版本吗？@jakstack，我想是的，您尝试添加主url了吗？是的，当我提供worker时，主url工作正常，但是我在想，拥有spark-default.conf文件背后的意义是什么？这张便条是救命稻草。我已经调试了好几天了，依赖于一年半前我（和合作者）使用的模式启动脚本。