Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 配置单元无法为临时目录设置权限_Hadoop_Apache Spark_Hive_Apache Spark Sql - Fatal编程技术网

Hadoop 配置单元无法为临时目录设置权限

Hadoop 配置单元无法为临时目录设置权限,hadoop,apache-spark,hive,apache-spark-sql,Hadoop,Apache Spark,Hive,Apache Spark Sql,我的配置单元作业失败,出现以下错误,即使我在运行作业之前设置了exec目录和scratch目录,我也不确定为什么没有更新默认属性 SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp; SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging; 例外情况: 17/09/13 11:30:42[Thread-126]:错误先生ExecDriver:纱线

我的配置单元作业失败,出现以下错误,即使我在运行作业之前设置了exec目录和scratch目录,我也不确定为什么没有更新默认属性

SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;
例外情况:

17/09/13 11:30:42[Thread-126]:错误先生ExecDriver:纱线 java.io.IOException:无法为设置权限 /var/mapr/cluster/warn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar 位于com.mapr.fs.MapRFileSystem.setPermissionMapRFileSystem.java:2100 位于org.apache.hadoop.mapreduce.JobResourceUploader.copyJarJobResourceUploader.java:248

我还需要设置其他属性吗?谢谢


还有一个类似的问题,我已经在使用属性。

请尝试配置单元外壳中的以下配置属性,以覆盖配置单元mapreduce am stage目录。使用完整的URI

warn.app.mapreduce.am.staging-dir