&引用;“子错误”;在多节点Hadoop集群上执行流作业时出错(cloudera发行版CDH3u0 Hadoop 0.20.2)

&引用;“子错误”;在多节点Hadoop集群上执行流作业时出错(cloudera发行版CDH3u0 Hadoop 0.20.2),hadoop,mapreduce,cloudera,Hadoop,Mapreduce,Cloudera,我正在8节点Hadoop集群上工作,我正在尝试使用指定的配置执行一个简单的流作业 hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max.attempts=8 \-D mapred.skip.attempts.to.start.skipping=8 \-D mapred.s

我正在8节点Hadoop集群上工作,我正在尝试使用指定的配置执行一个简单的流作业

hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar \-D mapred.map.max.tacker.failures=10 \-D mared.map.max.attempts=8 \-D mapred.skip.attempts.to.start.skipping=8 \-D mapred.skip.map.max.skip.records=8 \-D mapred.skip.mode.enabled=true \-D mapred.max.map.failures.percent=5  \-input /user/hdfs/ABC/ \-output "/user/hdfs/output1/" \-mapper "perl -e 'while (<>) { chomp; print; }; exit;" \-reducer "perl -e 'while (<>) { ~s/LR\>/LR\>\n/g; print ; }; exit;" 
对于错误的原因,我已经检查了以下内容,但它仍然崩溃,我无法理解原因

1. All the temp directories are in place
2. Memory is way more than it might be required for job (running a small job)
3. Permissions verified. 
4. Nothing Fancier done in the configuration just usual stuff.
最奇怪的是,作业有时会成功运行,但大部分时间都会失败。关于这些问题的任何指导/帮助都会非常有用。在过去的4天里,我一直在处理这个错误,但我无法找出任何答案。请帮忙

谢谢和问候,
Atul

我也遇到了同样的问题,如果任务跟踪器无法为任务的子JVM分配指定的内存,就会发生这种情况


当群集不忙于运行许多其他作业时,请再次尝试执行同一作业,该作业将执行或推测执行为true,在这种情况下,hadoop将在另一个任务跟踪器中执行相同的任务。

如果在运行mapreduce时磁盘空间不足,请检查磁盘空间。日志目录相关磁盘空间
1. All the temp directories are in place
2. Memory is way more than it might be required for job (running a small job)
3. Permissions verified. 
4. Nothing Fancier done in the configuration just usual stuff.