Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何在Oozie中进行分叉操作_Hadoop_Mapreduce_Oozie_Oozie Coordinator - Fatal编程技术网

Hadoop 如何在Oozie中进行分叉操作

Hadoop 如何在Oozie中进行分叉操作,hadoop,mapreduce,oozie,oozie-coordinator,Hadoop,Mapreduce,Oozie,Oozie Coordinator,我有许多序列文件和对每个文件执行的操作工作流。所有文件的工作流都是相同的,输入文件的数量可能会有所不同。我想使用Oozie中的fork机制在一组输入文件(比如10个文件)上并行执行工作流。如果输入文件的数量是固定的,我知道应该执行多少工作流,并且可以轻松地编写fork,但由于它可能会发生变化,我不知道应该如何编写fork。您对此有何想法?您可以编写java oozie客户端,它将接受文件数作为参数,并有足够多的工作流可并行调用,并在所有工作流执行成功后返回。否则,您可能必须以编程方式生成具有所需

我有许多序列文件和对每个文件执行的操作工作流。所有文件的工作流都是相同的,输入文件的数量可能会有所不同。我想使用Oozie中的fork机制在一组输入文件(比如10个文件)上并行执行工作流。如果输入文件的数量是固定的,我知道应该执行多少工作流,并且可以轻松地编写fork,但由于它可能会发生变化,我不知道应该如何编写fork。您对此有何想法?

您可以编写java oozie客户端,它将接受文件数作为参数,并有足够多的工作流可并行调用,并在所有工作流执行成功后返回。否则,您可能必须以编程方式生成具有所需分支数目的工作流。

您能给我提供更多详细信息或提供一个示例吗?您的工作流正在运行什么?Java/Shell/Pig/MR?在某些情况下,您可以控制并行?