Apache spark Spark BlockManager侦听本地主机
不知道为什么,已经调查过了,没有运气 我的执行者正在监听他们的本地主机地址,运行任何一种洗牌操作,因为他们不能互相交谈 我在Mesos上运行Spark,并且已经有以下变量指向它们自己的IP(而不是本地主机):Apache spark Spark BlockManager侦听本地主机,apache-spark,networking,mesos,Apache Spark,Networking,Mesos,不知道为什么,已经调查过了,没有运气 我的执行者正在监听他们的本地主机地址,运行任何一种洗牌操作,因为他们不能互相交谈 我在Mesos上运行Spark,并且已经有以下变量指向它们自己的IP(而不是本地主机): SPARK_LOCAL_IP libu-IP 这是最后的过程,遮光部分是“外部ip” 这是最后的程序 我很困惑,如何欺骗执行者公开自己的IP而不是本地主机 看起来它没有正确解析 编辑如果我使用ipv4地址172.12.12.12(示例)手动启动BlockManager,执行器将绑定
- SPARK_LOCAL_IP
- libu-IP
有人知道为什么以及如何解决这个问题吗?更改解决方案问题或让mesos调用ipv4地址?您是否在SPARK\u env.sh中设置了SPARK\u LOCAL\u IP?“我不知道这是否存在于mesos中,比如standalone。@Salim是的,SPARK-env.sh中有SPARK_LOCAL_IP和mesos_NATIVE_JAVA_库