Apache spark 纱线工作目录上的默认Spark是什么/在哪里?

Apache spark 纱线工作目录上的默认Spark是什么/在哪里?,apache-spark,yarn,Apache Spark,Yarn,在单机版上工作时,工作目录基本上是$SPARK_HOME/work 但是,我不知道在纱线模式下工作时如何找到它?其他人能帮我找到spark的工作目录吗?或者可能是运行在Thread上的应用程序?默认值总是$spark\u HOME/work 如果您想要一个特定的工作目录,请配置SPARK\u WORKER\u DIR环境变量,例如使用conf/SPARK env.sh当SPARK在纱线上运行时,工作目录位于{yourYarnLocalDir}/usercache/{yourUserName}/a

在单机版上工作时,工作目录基本上是$SPARK_HOME/work


但是,我不知道在纱线模式下工作时如何找到它?其他人能帮我找到spark的工作目录吗?或者可能是运行在Thread上的应用程序?

默认值总是
$spark\u HOME/work


如果您想要一个特定的工作目录,请配置
SPARK\u WORKER\u DIR
环境变量,例如使用
conf/SPARK env.sh
当SPARK在纱线上运行时,工作目录位于{yourYarnLocalDir}/usercache/{yourUserName}/appcache/{yourApplicationId}

这很奇怪。我的工作目录似乎在hdfs上,我不知道为什么?有什么想法吗?@MaatDeamon嗯,你应该把它设为本地目录。您确定没有使用旧的
$SPARK\u HOME/conf/SPARK defaults.com
$SPARK\u HOME/conf/SPARK env.sh