Java 如何在reduce阶段工作时启动map阶段
我有这种情况。乔巴和乔布。是否有机会在JobA reduce阶段仍然有效的情况下,使用JobA reduce阶段提供的数据启动JobB映射阶段Java 如何在reduce阶段工作时启动map阶段,java,hadoop,reduce,mapper,Java,Hadoop,Reduce,Mapper,我有这种情况。乔巴和乔布。是否有机会在JobA reduce阶段仍然有效的情况下,使用JobA reduce阶段提供的数据启动JobB映射阶段 谢谢 我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入 我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。我想到的唯一一件事是有一个线程(从驱动程序类开始),
谢谢 我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入
我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。我想到的唯一一件事是有一个线程(从驱动程序类开始),它永久性地检查JobA的输出目录。 创建并完全写入特定(一组)part-r-xxxx文件后,您可以启动JobB,将该特定(一组)part-r-xxxx文件作为输入
我现在能确定的唯一问题是与检查part-r-xxxx文件是否已完全写入有关的问题。只有在特定的还原程序完全写入part-r文件后,才能看到它。因此,您可以开始处理显示的part-r文件,这样您就知道这些文件是完整的。只有在某个特定的还原程序完全编写完part-r文件后,您才能看到它。因此,您可以开始处理显示的part-r文件,这样您就知道它们已完成。