Java 无法通过通用选项分析器设置mapreduce.job.reduces
我一直试图通过GenericOptionParser提供的-D选项设置减缩器的数量,但没有成功,我也不知道为什么 我尝试了Java 无法通过通用选项分析器设置mapreduce.job.reduces,java,hadoop,mapreduce,google-compute-engine,Java,Hadoop,Mapreduce,Google Compute Engine,我一直试图通过GenericOptionParser提供的-D选项设置减缩器的数量,但没有成功,我也不知道为什么 我尝试了-D mapreduce.job.reduces=10(在-D后面加空格),并且 -Dmapreduce.job.reduces=10(在-D后面没有空格),但似乎没有什么闪避 在我的驱动程序类中,我实现了一些工具 hadoop jar MapReduceTryouts-1.jar invertedindex.simple.MyDriver -D mapreduce.job.
-D mapreduce.job.reduces=10
(在-D后面加空格),并且
-Dmapreduce.job.reduces=10
(在-D后面没有空格),但似乎没有什么闪避
在我的驱动程序类中,我实现了一些工具
hadoop jar MapReduceTryouts-1.jar invertedindex.simple.MyDriver -D mapreduce.job.reduces=10 /user/notprabhu2/Input/potter/ /user/notprabhu2/output
因为在我的驱动程序代码中,我已经明确地将减速器的数量设置为3,所以我总是以3个减速器结束
我正在使用CDH5.4.7,它在Google Compute Engine上的2节点集群上具有Hadoop 2.6.0。解决了这个问题。结果证明是如此愚蠢,但仍然张贴答案,以防有人也犯同样愚蠢的错误 似乎是
job.setNumReduceTasks(3)我的驱动程序类中的代码>行优先于命令行中的-D mapreduce.job.reduces=10
当我删除job.setNumReduceTasks(3)时代码>我的代码中的行一切正常。在xml标记中设置还原数-mapreduce.job.reduces的属性
在mapred-site.xml中设置属性,该属性将由配置中的代码调用:
package invertedindex.simple;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class MyDriver extends Configured implements Tool {
@Override
public int run(String[] args) throws Exception {
Configuration conf = getConf();
Job job = Job.getInstance(conf);
job.setJarByClass(MyDriver.class);
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(getConf()).delete(outputPath, true);
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
TextInputFormat.addInputPath(job, new Path(args[0]));
TextOutputFormat.setOutputPath(job, outputPath);
job.setNumReduceTasks(3);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
return job.waitForCompletion(true) ? 0 : 1;
}
public static void main(String[] args) throws Exception {
int exitCode = ToolRunner.run(new Configuration(),new MyDriver(), args);
System.exit(exitCode);
}
}
mapreduce.job.reduces
5.
重新启动hadoop进程
<property>
<name>mapreduce.job.reduces</name>
<value>5</value>
</property>