File Spark驱动程序文件服务器返回401个未经授权的文件_File_Http_Apache Spark_Server_Authorization

File Spark驱动程序文件服务器返回401个未经授权的文件

file http apache-spark server

File Spark驱动程序文件服务器返回401个未经授权的文件,file,http,apache-spark,server,authorization,File,Http,Apache Spark,Server,Authorization,使用Spark 1.6.1，驱动程序在随机端口上启动http文件服务器，工作人员应该访问该端口来获取JAR。在我的设置中，工作人员在试图获取jar时，从文件服务器获取未经授权的401。您知道如何在驱动程序的文件服务器上配置授权吗驱动程序代码在Scala中使用SparkConf设置JAR，如下所示： val conf = new SparkConf() .setAppName("myApp") .setMaster(masterUrl) .set("spark.task.maxFailures"

使用Spark 1.6.1，驱动程序在随机端口上启动http文件服务器，工作人员应该访问该端口来获取JAR。在我的设置中，工作人员在试图获取jar时，从文件服务器获取未经授权的401。您知道如何在驱动程序的文件服务器上配置授权吗

驱动程序代码在Scala中使用SparkConf设置JAR，如下所示：

val conf = new SparkConf()
.setAppName("myApp")
.setMaster(masterUrl)
.set("spark.task.maxFailures", "1")
.set("spark.executor.memory", sparkExecutorMemory)     
.set("spark.metrics.conf.driver.sink.jmx.class", "org.apache.spark.metrics.sink.JmxSink")
.set("spark.authenticate", "true")
.set("spark.authenticate.secret", secret)
.setJars(jarsInClasspath)

val sc: SparkContext = SparkContext.getOrCreate(conf)
sc.parallelize(myCollection).map (myFunc).collect

spark.authenticate在所有三个服务器上配置：主服务器、驱动程序和从属服务器，具有相同的机密

在worker上，我看到以下两个错误：

Fetching http://11.163.0.285:51712/jars/libSetPluginTypes.jar with timestamp 1476207005509

java.net.ProtocolException: Server redirected too many  times (20)

过了一会儿，这个：

java.net.ConnectException: Cannot assign requested address

查看驱动程序上的tcpdump：

<title>Error 401 Unauthorized</title>
</head>
<body>
<h2>HTTP ERROR: 401</h2>
<p>Problem accessing /jars/libSetPluginTypes.jar. Reason:
<pre>    Unauthorized</pre></p>
<hr /><i><small>Powered by Jetty://</small></i>

错误401未经授权
HTTP错误：401
访问/jars/libSetPluginTypes.jar时出现问题。原因:
未经授权
由码头提供动力：//

请注意，如果我手动将JAR放在从机的类路径上，而不是将SETJAR放在驱动端，那么整个过程都是有效的

任何帮助都将不胜感激。谢谢