Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 配置单元MapReduce作业提交失败”;目标是一个目录";_Hadoop_Mapreduce_Hive_Hdfs_Yarn - Fatal编程技术网

Hadoop 配置单元MapReduce作业提交失败”;目标是一个目录";

Hadoop 配置单元MapReduce作业提交失败”;目标是一个目录";,hadoop,mapreduce,hive,hdfs,yarn,Hadoop,Mapreduce,Hive,Hdfs,Yarn,我一直在玩弄Hadoop及其姊妹项目,在这过程中我遇到了一些问题,但我最终遇到了一个我找不到答案的问题: 我有一个配置单元表存储在hdfs上,作为制表符分隔的文本文件。我可以对表进行基本的选择,但只要我使查询变得更复杂一点,hive就会将其转换为map reduce作业,该作业会失败,并出现以下堆栈跟踪 13/11/29 08:31:00 ERROR security.UserGroupInformation:priviledededActionException as:hduser(auth:

我一直在玩弄Hadoop及其姊妹项目,在这过程中我遇到了一些问题,但我最终遇到了一个我找不到答案的问题:

我有一个配置单元表存储在hdfs上,作为制表符分隔的文本文件。我可以对表进行基本的选择,但只要我使查询变得更复杂一点,hive就会将其转换为map reduce作业,该作业会失败,并出现以下堆栈跟踪

13/11/29 08:31:00 ERROR security.UserGroupInformation:priviledededActionException as:hduser(auth:SIMPLE)原因:java.io.IOException:Target/tmp/hadoop->thread/staging/hduser/.staging/job\u 13856339031690013/libjars/lib是一个目录 13/11/29 08:31:00错误安全性。用户组信息:PriviledEdActionException as:hduser(auth:SIMPLE)原因:java.io.IOException:Target/tmp/hadoop Thread/staging/hduser/。staging/job_13856339903169_0013/libjars/lib/lib是一个目录 java.io.IOException:Target/tmp/hadoop-thread/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib是一个目录 位于org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) 位于org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:348) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289) 位于org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) 位于org.apache.hadoop.mapreduce.jobsmitter.copyAndConfigureFiles(jobsmitter.java:212) 位于org.apache.hadoop.mapreduce.jobsmitter.copyAndConfigureFiles(jobsmitter.java:300) 位于org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387) 位于org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268) 位于org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265) 位于java.security.AccessController.doPrivileged(本机方法) 位于javax.security.auth.Subject.doAs(Subject.java:415) 位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) 位于org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) 位于org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562) 位于org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:557) 位于java.security.AccessController.doPrivileged(本机方法) 位于javax.security.auth.Subject.doAs(Subject.java:415) 位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) 位于org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:557) 位于org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:548) 位于org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:425) 位于org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:144) 位于org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:151) 位于org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:65) 位于org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1414) 位于org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1192) 位于org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:1020) 位于org.apache.hadoop.hive.ql.Driver.run(Driver.java:888) 位于org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 位于org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216) 位于org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:413) 位于org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:781) 位于org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:675) 位于org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:614) 在sun.reflect.NativeMethodAccessorImpl.invoke0(本机方法)处 在sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)中 在sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)中 位于java.lang.reflect.Method.invoke(Method.java:606) 位于org.apache.hadoop.util.RunJar.main(RunJar.java:212) 作业提交失败,出现异常“java.io.IOException(Target/tmp/hadoop-thread/staging/hduser/.staging/Job\u 1385633903169\u 0013/libjars/lib/lib是一个目录)”异常 13/11/29 08:31:00错误执行任务:作业提交失败,出现异常“java.io.IOException(Target/tmp/hadoop-thread/staging/hduser/.staging/Job_13856339903169_0013/libjars/lib/lib是一个目录)” java.io.IOException:Target/tmp/hadoop-thread/staging/hduser/.staging/job_1385633903169_0013/libjars/lib/lib是一个目录 位于org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:500) 位于org.apache.hadoop.fs.FileUtil.checkDest(FileUtil.java:502) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:348) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338) 位于org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289) 位于org.apache.hadoop.mapreduce.JobSubmitter.copyRemoteFiles(JobSubmitter.java:139) 位于org.apache.hadoop.mapreduce.jobsmitter.copyAndConfigureFiles(jobsmitter.java:212) 位于org.apache.hadoop.mapreduce.jobsmitter.copyAndConfigureFiles(jobsmitter.java:300) 位于org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387) 位于org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268) 位于org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265) 位于java.security.AccessController.doPrivileged(本机方法) 位于javax.security.auth.Subject.doAs(Subject.java:415) 位于org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491) 位于org.apache.hadoop.mapreduce.Job.submit(Job.java:1265) 在org.apache.hadoop.ma上