Parallel processing Spark-从本地计算机添加工作进程(独立Spark群集管理器)?

Parallel processing Spark-从本地计算机添加工作进程(独立Spark群集管理器)?,parallel-processing,apache-spark,Parallel Processing,Apache Spark,在一台机器上运行spark 1.4.0时,我可以使用以下命令添加worker“/bin/spark class org.apache.spark.deploy.worker.worker myhostname:7077”。官方文档指出了另一种方法,将“myhostname:7077”添加到“conf/slaves”文件中,然后执行命令“sbin/start all.sh”,该命令调用conf/slaves文件中列出的主进程和所有工作进程。但是,后一种方法不适合我(有超时错误)。有人能帮我吗 这是

在一台机器上运行spark 1.4.0时,我可以使用以下命令添加worker“/bin/spark class org.apache.spark.deploy.worker.worker myhostname:7077”。官方文档指出了另一种方法,将“myhostname:7077”添加到“conf/slaves”文件中,然后执行命令“sbin/start all.sh”,该命令调用conf/slaves文件中列出的主进程和所有工作进程。但是,后一种方法不适合我(有超时错误)。有人能帮我吗

这是我的conf/slaves文件(假设主URL是myhostname:700):


myhostname:700

conf.slaves文件应该只是主机名列表,您不需要包括spark运行的端口(我想如果您这样做,它会尝试在该端口上使用ssh,这可能就是超时的原因)。

谢谢,Holden。但是,在我删除端口后,它仍然不起作用。这是我在slaves文件中添加的完整名称“Tsung Weis MacBook Pro.local”,我发现连接被拒绝错误。你能发布命令和日志吗?另外,当您使用ssh连接到该主机时会发生什么情况?如果您的连接被拒绝,我猜您可能没有安装ssh服务器,因此我会安装ssh服务器,并确保设置基于密码(例如ssh密钥)的访问。谢谢Holden。我终于解决了。我忘记打开本地主机的删除访问权限。现在它工作了:)感谢你的帮助!