Java 为每个映射任务生成一个输入文件
我是hadoop新手,我有以下问题。我想控制映射程序的数量,我发现的最简单的方法是欺骗hadoop为每个映射任务生成一个输入文件,如pi estimator示例中所示。因此,我使用了以下代码:Java 为每个映射任务生成一个输入文件,java,eclipse,hadoop,mapreduce,Java,Eclipse,Hadoop,Mapreduce,我是hadoop新手,我有以下问题。我想控制映射程序的数量,我发现的最简单的方法是欺骗hadoop为每个映射任务生成一个输入文件,如pi estimator示例中所示。因此,我使用了以下代码: for(int i=0; i < nMaps; ++i) { final Path file = new Path(inDir, "part"+i); fs.create(file); fs.close(); } for(int i=0;i
for(int i=0; i < nMaps; ++i) {
final Path file = new Path(inDir, "part"+i);
fs.create(file);
fs.close();
}
for(int i=0;i
编译时,fs.create行中有一个错误。有人知道哪里出了问题,以及如何解决吗?谢谢您应该捕获(或重试)可能从和引发的
IOException
。您可以在作业配置中设置映射任务的数量。作业配置中映射任务的数量只是一个提示,不用于作业的映射任务数量。默认情况下,映射任务的数量等于输入拆分的数量。