Hadoop 配置单元无法为临时目录设置权限
我的配置单元作业失败,出现以下错误,即使我在运行作业之前设置了exec目录和scratch目录,我也不确定为什么没有更新默认属性Hadoop 配置单元无法为临时目录设置权限,hadoop,apache-spark,hive,apache-spark-sql,Hadoop,Apache Spark,Hive,Apache Spark Sql,我的配置单元作业失败,出现以下错误,即使我在运行作业之前设置了exec目录和scratch目录,我也不确定为什么没有更新默认属性 SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp; SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging; 例外情况: 17/09/13 11:30:42[Thread-126]:错误先生ExecDriver:纱线
SET hive.exec.scratchdir=/domain/usecase/warehouse/hive_scratch_tmp;
SET hive.exec.stagingdir=/domain/usecase/warehouse/.staging;
例外情况:
17/09/13 11:30:42[Thread-126]:错误先生ExecDriver:纱线
java.io.IOException:无法为设置权限
/var/mapr/cluster/warn/rm/staging/usecase/.staging/job_1503499283269_761069/job.jar
位于com.mapr.fs.MapRFileSystem.setPermissionMapRFileSystem.java:2100
位于org.apache.hadoop.mapreduce.JobResourceUploader.copyJarJobResourceUploader.java:248
我还需要设置其他属性吗?谢谢
还有一个类似的问题,我已经在使用属性。请尝试配置单元外壳中的以下配置属性,以覆盖配置单元mapreduce am stage目录。使用完整的URI warn.app.mapreduce.am.staging-dir