Apache spark Apache Spark独立群集网络故障

Apache spark Apache Spark独立群集网络故障,apache-spark,Apache Spark,我在azure云上安装了ubuntu服务器,上面安装了spark-1.6.0-bin-hadoop2.6。我想启动独立群集 我通过执行/start-master.sh-h10.0.0.4(它是内部ip)来启动master,之后可以在中访问web ui 接下来,我还将ubuntu服务器作为不同网络中的从属服务器。我通过/start-slave.sh spark://[master public ip]:7077启动它。我可以在主web ui中看到已成功注册的从机 当我使用以下命令在master上提

我在azure云上安装了ubuntu服务器,上面安装了spark-1.6.0-bin-hadoop2.6。我想启动独立群集

我通过执行
/start-master.sh-h10.0.0.4
(它是内部ip)来启动master,之后可以在中访问web ui

接下来,我还将ubuntu服务器作为不同网络中的从属服务器。我通过
/start-slave.sh spark://[master public ip]:7077启动它。我可以在主web ui中看到已成功注册的从机

当我使用以下命令在master上提交申请时:

   ./spark-submit --class com.MyClass --deploy-mode client \
    --master spark://[master-public-ip]:7077 \
    /home/user/my_jar.jar
我在从属web ui中遇到以下错误:

Exception in thread "main" java.io.IOException: Failed to connect to /10.0.0.4:33742
所以,主设备可以连接到从设备,但从设备不能。如何将配置更改为通过公共ip将从连接到主


将SPARK_MASTER_IP设置为公用IP不起作用。

如文件所述,主设备连接到随机端口上的辅助设备。防火墙可能正在阻止此端口范围。@DNA防火墙已禁用。我猜从机有错误的主ip。好吧-可能是主机在注册或创建工作时将其内部ip传递给了从机?只是猜测一下,但是可能需要为
启动主控
脚本提供公共IP,而不是内部IP?而且,在没有防火墙的公共云上运行听起来相当危险-为什么需要主控和从控在不同的网络上?@DNA我试过这样做,但是我得到了错误-java.net.BindException:无法分配请求的地址:服务sparkMaster在重试16次后失败!