Apache spark 无法连接到工作节点上的本地主机

Apache spark 无法连接到工作节点上的本地主机,apache-spark,hadoop,cluster-computing,Apache Spark,Hadoop,Cluster Computing,我从计算集群上的一个工作节点连接到本地主机时遇到一些问题。我使用HDFS文件系统运行Spark进程,因此hadoop也在集群上运行。集群利用SLURM作业调度器进行并行处理,因此我尝试提交一个调用Spark和Hadoop的SLURM作业,但我收到一条扩展的错误消息,我已将其保存到一个文件并附加 从greg-n1/172.16.1.2调用localhost:9000失败,连接异常:java.net.ConnectException:连接被拒绝;有关更多详细信息,请参阅:http://wiki.ap

我从计算集群上的一个工作节点连接到本地主机时遇到一些问题。我使用HDFS文件系统运行Spark进程,因此hadoop也在集群上运行。集群利用SLURM作业调度器进行并行处理,因此我尝试提交一个调用Spark和Hadoop的SLURM作业,但我收到一条扩展的错误消息,我已将其保存到一个文件并附加

从greg-n1/172.16.1.2调用localhost:9000失败,连接异常:java.net.ConnectException:连接被拒绝;有关更多详细信息,请参阅:http://wiki.apache.org/hadoop/ConnectionRefused

我还附上了我提交给SLURM的文件(标题包含一些特定于SLURM的规范)。我相信问题可能在于我在本地调用hadoop/spark(它只安装在集群上我的目录中)。
感谢您的帮助。

我只是想补充一点,spark和hadoop都只在本地运行,而不是在整个集群中运行。您需要查看core-site.xml以了解为什么要将localhost用于连接字符串。您希望我显示core-site.xml文件的配置吗?您已经有了该文件。您是更改了它,还是保留了默认值?可以显示吗?hadoop的core-site.xml文件有“fs.default.name”hdfs://localhost:9000 "