Hadoop-在链中的多个作业之间共享文件
我已经编写了一个MapReduce应用程序,它由两个MapReduce阶段组成 二进制输入文件->m1->r1->m2->r2->文本输出Hadoop-在链中的多个作业之间共享文件,hadoop,Hadoop,我已经编写了一个MapReduce应用程序,它由两个MapReduce阶段组成 二进制输入文件->m1->r1->m2->r2->文本输出 我的应用程序的输入文件包含一小块数据请尝试hadoop with-files选项 我过去也有过类似的问题,而且-文件选项对我很有效。 看看我以前使用过-files选项,问题是我想要共享的文件是由map reduce管道的第一阶段生成的。换句话说,我在客户端上没有可用的文件,因此无法使用命令行上的-file选项。
我的应用程序的输入文件包含一小块数据请尝试hadoop with-files选项 我过去也有过类似的问题,而且-文件选项对我很有效。
看看我以前使用过-files选项,问题是我想要共享的文件是由map reduce管道的第一阶段生成的。换句话说,我在客户端上没有可用的文件,因此无法使用命令行上的-file选项。