Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/joomla/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 为什么Spark UI在10.184.140.204:4040启动?_Scala_Intellij Idea_Apache Spark - Fatal编程技术网

Scala 为什么Spark UI在10.184.140.204:4040启动?

Scala 为什么Spark UI在10.184.140.204:4040启动?,scala,intellij-idea,apache-spark,Scala,Intellij Idea,Apache Spark,我从IntelliJ Scala控制台中以本地模式启动Spark。信息显示 ... 15/11/12 14:04:51 INFO SparkUI: Started SparkUI at http://10.184.140.204:4040 ... 既然我是在本地模式下启动的,为什么地址不是127.0.0.1或localhost?我假设Spark代码正在查找与您正在运行的机器相关联的当前主机名,并将其解析为IP,这将导致您看到的结果 但是,您可以让spark监听特定的主机名。可以根据指定为sta

我从IntelliJ Scala控制台中以本地模式启动Spark。信息显示

...
15/11/12 14:04:51 INFO SparkUI: Started SparkUI at http://10.184.140.204:4040
...

既然我是在本地模式下启动的,为什么地址不是127.0.0.1或localhost?

我假设Spark代码正在查找与您正在运行的机器相关联的当前主机名,并将其解析为IP,这将导致您看到的结果

但是,您可以让spark监听特定的主机名。可以根据指定为start-master.sh和start-slave.sh指定-h参数


您还可以调整SPARK_MASTER_IP环境变量,告知SPARK使用不同的IP地址。

您可以通过将SPARK_LOCAL_IP设置为该值,强制SPARK UI在127.0.0.1上侦听


由于Spark的正常操作模式是分布式应用程序,因此它尝试绑定到公共IP地址。在本地模式下运行时,添加代码来避免这种情况没有多大意义,因为它仍然可以工作。

有什么特别的原因让它绑定到环回而不是本地IP吗?我发现了C++中的一个例子,虽然我不知道Skice是否有一个现成的配置方法来做这件事。他在谈论Spice应用程序,而不是主程序或工作守护进程。这都是关于Spice应用程序而不是独立集群的。谢谢您的回答。这似乎是我的情况。我正在我的笔记本电脑上创建一个SparkContext,目前我在一个大学网络上。这就是Spark在专用网络10.XXX.XXX.XXX中获取地址的原因。因此,一旦我切断网络连接,Spark用户界面应该是127.0.0.1:4040,对吗?如果唯一可用的接口是127.0.0.1,Spark会使用它,是的。