Apache spark 从Dataproc群集上的Spark UI获取文件时的http代码302
我启动了一个Dataproc集群，在端口4040上使用Web UI时遇到问题。首先，我显示spark shell显示的IP和端口。然后在Spark UI端口上设置URL时显示302错误代码 wilsonbill522@cluster-db78-m:~$spark外壳 将默认日志级别设置为“警告”。 要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，使用setLogLevel（newLevel）。 在配置单元HOME或配置单元DIR中找不到ivysettings.xml文件，将使用/etc/HIVE/CONF.dist/ivysettings.xml Spark上下文Web UI可在 使用wget到端口4040，除了“jobs”URL之外，我得到了每个URL的HTTP代码为302的响应 例如： wget 不幸的是，我无法发布输出，因为stackoverflow决定我正在发布链接。但上述命令的结果是HTTP 302响应代码Apache spark 从Dataproc群集上的Spark UI获取文件时的http代码302,apache-spark,google-cloud-dataproc,Apache Spark,Google Cloud Dataproc,我启动了一个Dataproc集群，在端口4040上使用Web UI时遇到问题。首先，我显示spark shell显示的IP和端口。然后在Spark UI端口上设置URL时显示302错误代码 wilsonbill522@cluster-db78-m:~$spark外壳 将默认日志级别设置为“警告”。 要调整日志记录级别，请使用sc.setLogLevel（newLevel）。对于SparkR，使用setLogLevel（newLevel）。 在配置单元HOME或配置单元DIR中找不到ivysett
上述wget在不同ssh会话的主节点上执行。302响应重定向到“作业”URL（我无法在这里详细说明实际URL，因为它会触发链接上的一些限制堆栈溢出位置），这没有任何意义。看起来Spark Web UI正在将所有URL格式化为与纱线资源管理器代理相关，但是它的某些显示部分使用了错误的主机/端口（特别是spark shell输出中显示的内容）。我猜这是在Thread客户机模式下运行的产物，但还不能确定
正如前面提到的，您可以通过端口8088上的Thread RM代理访问重定向的URL 如果您通过端口8088浏览Thread UI，然后找到与Spark上下文对应的Thread应用程序，点击“应用程序主控程序”进入Spark UI，会发生什么？您没有告诉wget重定向到我在浏览器中访问的必要站点，它显示了一些正常的内容。将我在此页面上找到的URL修改为spark web ui似乎是我可以接受的。我能做些什么使4040端口正常工作吗？其他人是否看到端口4040存在此问题？