Apache spark 设置火花执行器ip地址

Apache spark 设置火花执行器ip地址,apache-spark,Apache Spark,在我当前的设置中,每个spark节点都可以访问两个网络:一个是连接每个节点的内部网络,它的运行速度很快,另一个是连接到其他机器但速度很慢的外部网络。问题是,即使将SPARK_LOCAL_IP设置为内部IP地址,所有流量都会根据nload通过慢速公共网络。但是,web ui中的引用都指向内部ip地址,以及日志消息中的引用(192.168.xx.xx是内部网络): 我是否必须更改主机名以与内部ip地址相对应,或者是否有更好的方法来配置spark executor节点以通过内部网络传递流量,同时使公共

在我当前的设置中,每个spark节点都可以访问两个网络:一个是连接每个节点的内部网络,它的运行速度很快,另一个是连接到其他机器但速度很慢的外部网络。问题是,即使将SPARK_LOCAL_IP设置为内部IP地址,所有流量都会根据nload通过慢速公共网络。但是,web ui中的引用都指向内部ip地址,以及日志消息中的引用(192.168.xx.xx是内部网络):


我是否必须更改主机名以与内部ip地址相对应,或者是否有更好的方法来配置spark executor节点以通过内部网络传递流量,同时使公共主机名与较慢的外部网络相对应?

我们所做的方法是通过添加到/etc/hosts将主机名解析为内部ip
INFO ExecutorRunner: Launch command:...
    "--hostname" "192.168.xx.xx" "--cores" "16"
     "--app-id" "app-xxxxx-yyyy" "--worker-url" "spark://Worker@192.168.xx.xx:12344"