Apache spark 更改.sparkStaging目录的位置
对于我的所有应用程序,spark在Apache spark 更改.sparkStaging目录的位置,apache-spark,Apache Spark,对于我的所有应用程序,spark在HDFS上的/.sparkStaging下创建其工作目录。是否可以告诉spark在每个应用程序的不同位置创建此临时目录 我探索了与我发现的最密切相关的是spark.local.dir,但我认为这不能解决问题。有什么建议吗
HDFS
上的/.sparkStaging
下创建其工作目录。是否可以告诉spark在每个应用程序的不同位置创建此临时目录
我探索了与我发现的最密切相关的是spark.local.dir
,但我认为这不能解决问题。有什么建议吗