如何为JavaHadoop设置-file选项？

如何将hadoop程序所需的文件复制到所有计算节点？我知道hadoop流媒体的-file选项可以做到这一点。如何为java+hadoop做到这一点？

完全相同

假设您使用ToolRunner/Configured/Tool模式，则当mapper/reducer/combiner任务运行时，-files选项之后指定的文件将位于本地目录中：

public class Driver extends Configured implements Tool {
    public static void main(String args[]) {
        ToolRunner.run(new Driver(), args);
    }

    public int run(String args[]) {
        Job job = new Job(getConf());
        // ...
        job.waitForCompletion(true);
    }
}

public class MyMapper extends Mapper<K1, V1, K2, V2> {
    public void setup(Context context) {
        File myFile = new File("file.csv");
        // do something with file
    }


    // ...
}

有关更多信息，请参阅Javadoc

#> hadoop jar myJar.jar Driver -files file.csv ......