ubuntu虚拟机上的spark worker与群集的连接错误

我使用vagrant创建了一个由4个ubuntu虚拟机组成的集群，以便运行一些基本的spark代码进行测试。我在所有机器上设置了无密码ssh指纹，并禁用了防火墙，但在运行时仍然收到一些错误连接

/usr/local/spark/bin/spark-submit --class "class.main" --deploy-mode client --master spark://<IP>:7077 /vagrant/.../class.main-assembly-1.0.jar  "file:/vagrant/.../input.csv"

---

有人见过类似的情况并知道解决方案吗？如有任何帮助或建议，将不胜感激。提前谢谢你

我猜你在使用Virtualbox，而且所有节点都在同一个Virtualbox NAT网络上，我自己也遇到了这个问题。为了使Spark工作，您需要在Virtualbox中设置一个“仅主机网络”，并确保您的所有计算机都在该网络中（例如，使用两个网络适配器，一个用于NAT，另一个用于仅主机网络）

设置好后，您需要设置

SPARK\u LOCAL\u IP=172.1.2.*

和

SPARK\u MASTER\u IP=172.1.2.3

内部

conf/SPARK env.sh

在每个主节点和从节点上，确保主IP在任何地方都是相同的，本地IP是

172

IP地址

要启动主机，请运行以下操作：

~/spark-2.1.0-bin-hadoop2.7/sbin/start-master.sh -h 172.1.2.3

~/spark-2.1.0-bin-hadoop2.7/sbin/start-slave.sh -h 172.1.2.4 spark://172.1.2.3:7077

spark-submit --master spark://172.1.2.3:7077 --class org.apache.spark.examples.SparkPi ~/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 100

要启动从属服务器，请运行以下操作：

~/spark-2.1.0-bin-hadoop2.7/sbin/start-master.sh -h 172.1.2.3

~/spark-2.1.0-bin-hadoop2.7/sbin/start-slave.sh -h 172.1.2.4 spark://172.1.2.3:7077

spark-submit --master spark://172.1.2.3:7077 --class org.apache.spark.examples.SparkPi ~/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 100

最后，要运行应用程序，请执行以下操作：

~/spark-2.1.0-bin-hadoop2.7/sbin/start-master.sh -h 172.1.2.3

~/spark-2.1.0-bin-hadoop2.7/sbin/start-slave.sh -h 172.1.2.4 spark://172.1.2.3:7077

spark-submit --master spark://172.1.2.3:7077 --class org.apache.spark.examples.SparkPi ~/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 100