Apache spark spark submit“；无法连接到服务器"；

我一直在使用spark submit以群集模式启动应用程序，通常如下所示：

spark-submit ^
--master spark://master_ip_from_web_ui:6066 ^
--class MyClass ^
--deploy-mode cluster ^
--conf "maybesomeconf=val"
path_to_app_jar_on_worker_nodes ^
arg1 args

主web ui已启动并正在运行，并显示连接到集群的所有工人。但是，我在提交申请后得到以下回复：

16/07/06 14:47:02 INFO RestSubmissionClient: Submitting a request to launch an application in spark://master_ip:6066.
16/07/06 14:47:03 WARN RestSubmissionClient: Unable to connect to server spark://master_ip:6066.
Warning: Master endpoint spark://master_ip:6066 was not a REST server. Falling back to legacy submission gateway instead.

---

您是否尝试从驱动程序节点ping master_ip，即运行spark submit的位置？我正在从与群集位于同一LAN上的计算机上运行spark submit。我可以ping主服务器，也可以连接到8080端口上的主UI。目前，我正在使用远程机器上的远程桌面从集群内的工作节点运行作业，作业提交是否可以从工作节点运行？如果是这样的话，这似乎是一个网络配置问题。在同一个局域网内是不够的，通常集群在某种意义上是“受保护的”，可能是管理员打开了对8080的访问（我们的没有，所以我必须通过SOCKS进行路由）。好的，谢谢，是的，这听起来像是个问题。虽然这很奇怪，因为昨天一切正常。我也遇到了同样的问题，但我的解决方案隐藏在你的问题中。我使用的是7077端口，但换成6066端口后，它就可以工作了。