Apache spark 工作进程无法连接到同一台计算机上的主进程（无效的关联）-即使url是正确的

spark主日志包括以下内容：

15/05/19 21:05:19信息远程处理：远程处理已开始；倾听 地址：[akka。tcp://sparkMaster@梅利伦本地：7077

但工人无法连接：

15/05/19 21:27:13信息工作者：连接到主机 阿克卡。tcp://sparkMaster@mellyrn.本地：7077/user/Master。。。15/05/19 21:27:13警告远程处理：尝试与无法访问的远程处理关联 地址[阿克卡。tcp://sparkMaster@梅利伦。当地：7077。地址是现在 在5000毫秒内，发送到此地址的所有邮件都将发送到 死信。原因：连接被拒绝： mellyrn.local/25.101.19.24:7077 15/05/19 21:27:25信息工作者： 正在重试与主机的连接（尝试#1）15/05/19 21:27:25信息 工人：正在连接到主机 阿克卡。tcp://sparkMaster@mellyrn.本地：7077/user/Master。。。15/05/19 21:27:25警告远程处理：尝试与无法访问的远程处理关联 地址[阿克卡]。tcp://sparkMaster@梅利伦.当地：7077]。地址是现在 在5000毫秒内，发送到此地址的所有邮件都将发送到 死信。原因：连接被拒绝： 梅利伦本地/25.101.19.24:7077

---

有什么提示吗？

检查您的文件

conf/spark defaults.conf

，将

spark.master

设置为

spark://mellyrn.local:7077

另外，请记住配置ssh访问而不使用密码

$ssh-keygen-tdsa-p'-f~/.ssh/id\u dsa

---

$cat~/.ssh/id_dsa.pub>~/.ssh/authorized_keys

这些错误似乎是间歇性的，这是由于当时主机内存不足造成的。在关闭一些无关的内存占用进程后，上述错误大部分消失了

我想了解的是，在实现主人/工人协会方面仍有几十秒的延迟

---

请注意，没有任何日志消息描述内存不足的情况。

如果主机名输入错误，即worker无法解析IP->hostnameThx，则可能会发生这种情况，但这些都是已设置好的基本设置（我已经使用spark 18个月了）。在Thread中使用spark submit时，我也会遇到同样的问题。然而，在我的情况下，记忆不是一个问题。但这种错误经常发生。这可能是网络问题，或者AppMaster（spark驱动程序）由于某些错误而终止。操作系统是什么？