Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop-在链中的多个作业之间共享文件_Hadoop - Fatal编程技术网

Hadoop-在链中的多个作业之间共享文件

Hadoop-在链中的多个作业之间共享文件,hadoop,Hadoop,我已经编写了一个MapReduce应用程序,它由两个MapReduce阶段组成 二进制输入文件->m1->r1->m2->r2->文本输出 我的应用程序的输入文件包含一小块数据请尝试hadoop with-files选项 我过去也有过类似的问题,而且-文件选项对我很有效。 看看我以前使用过-files选项,问题是我想要共享的文件是由map reduce管道的第一阶段生成的。换句话说,我在客户端上没有可用的文件,因此无法使用命令行上的-file选项。

我已经编写了一个MapReduce应用程序,它由两个MapReduce阶段组成

二进制输入文件->m1->r1->m2->r2->文本输出


我的应用程序的输入文件包含一小块数据请尝试hadoop with-files选项 我过去也有过类似的问题,而且-文件选项对我很有效。
看看

我以前使用过-files选项,问题是我想要共享的文件是由map reduce管道的第一阶段生成的。换句话说,我在客户端上没有可用的文件,因此无法使用命令行上的-file选项。