Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何在reduce阶段工作时启动map阶段_Java_Hadoop_Reduce_Mapper - Fatal编程技术网

Java 如何在reduce阶段工作时启动map阶段

Java 如何在reduce阶段工作时启动map阶段,java,hadoop,reduce,mapper,Java,Hadoop,Reduce,Mapper,我有这种情况。乔巴和乔布。是否有机会在JobA reduce阶段仍然有效的情况下,使用JobA reduce阶段提供的数据启动JobB映射阶段 谢谢 我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入 我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。我想到的唯一一件事是有一个线程(从驱动程序类开始),

我有这种情况。乔巴和乔布。是否有机会在JobA reduce阶段仍然有效的情况下,使用JobA reduce阶段提供的数据启动JobB映射阶段


谢谢

我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入


我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。

我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入


我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。

只有在特定的还原程序完全写入part-r文件后,才能看到它。因此,您可以开始处理显示的part-r文件,这样您就知道这些文件是完整的。只有在某个特定的还原程序完全编写完part-r文件后,您才能看到它。因此,您可以开始处理显示的part-r文件,这样您就知道它们已完成。