Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark BlockManager侦听本地主机_Apache Spark_Networking_Mesos - Fatal编程技术网

Apache spark Spark BlockManager侦听本地主机

Apache spark Spark BlockManager侦听本地主机,apache-spark,networking,mesos,Apache Spark,Networking,Mesos,不知道为什么,已经调查过了,没有运气 我的执行者正在监听他们的本地主机地址,运行任何一种洗牌操作,因为他们不能互相交谈 我在Mesos上运行Spark,并且已经有以下变量指向它们自己的IP(而不是本地主机): SPARK_LOCAL_IP libu-IP 这是最后的过程,遮光部分是“外部ip” 这是最后的程序 我很困惑,如何欺骗执行者公开自己的IP而不是本地主机 看起来它没有正确解析 编辑如果我使用ipv4地址172.12.12.12(示例)手动启动BlockManager,执行器将绑定

不知道为什么,已经调查过了,没有运气

我的执行者正在监听他们的本地主机地址,运行任何一种洗牌操作,因为他们不能互相交谈

我在Mesos上运行Spark,并且已经有以下变量指向它们自己的IP(而不是本地主机):

  • SPARK_LOCAL_IP
  • libu-IP
这是最后的过程,遮光部分是“外部ip”

这是最后的程序

我很困惑,如何欺骗执行者公开自己的IP而不是本地主机

看起来它没有正确解析

编辑如果我使用ipv4地址172.12.12.12(示例)手动启动BlockManager,执行器将绑定到正确的地址,但如果我使用dns地址myserver.myservice.aws,执行器将绑定到本地主机


有人知道为什么以及如何解决这个问题吗?更改解决方案问题或让mesos调用ipv4地址?

您是否在SPARK\u env.sh中设置了SPARK\u LOCAL\u IP?“我不知道这是否存在于mesos中,比如standalone。@Salim是的,SPARK-env.sh中有SPARK_LOCAL_IP和mesos_NATIVE_JAVA_库