Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/eclipse/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 为每个映射任务生成一个输入文件_Java_Eclipse_Hadoop_Mapreduce - Fatal编程技术网

Java 为每个映射任务生成一个输入文件

Java 为每个映射任务生成一个输入文件,java,eclipse,hadoop,mapreduce,Java,Eclipse,Hadoop,Mapreduce,我是hadoop新手,我有以下问题。我想控制映射程序的数量,我发现的最简单的方法是欺骗hadoop为每个映射任务生成一个输入文件,如pi estimator示例中所示。因此,我使用了以下代码: for(int i=0; i < nMaps; ++i) { final Path file = new Path(inDir, "part"+i); fs.create(file); fs.close(); } for(int i=0;i

我是hadoop新手,我有以下问题。我想控制映射程序的数量,我发现的最简单的方法是欺骗hadoop为每个映射任务生成一个输入文件,如pi estimator示例中所示。因此,我使用了以下代码:

    for(int i=0; i < nMaps; ++i) {
    final Path file = new Path(inDir, "part"+i);
    fs.create(file);
    fs.close();
    }
for(int i=0;i

编译时,fs.create行中有一个错误。有人知道哪里出了问题,以及如何解决吗?谢谢

您应该捕获(或重试)可能从和引发的
IOException

您可以在作业配置中设置映射任务的数量。作业配置中映射任务的数量只是一个提示,不用于作业的映射任务数量。默认情况下,映射任务的数量等于输入拆分的数量。