Hadoop 有哪些方法可以顺序运行多个Pig脚本?

Hadoop 有哪些方法可以顺序运行多个Pig脚本?,hadoop,apache-pig,Hadoop,Apache Pig,我需要在Hadoop中按顺序运行一些Pig脚本。它们必须分开运行。有什么建议吗 更新 这只是一个快速更新,我们正在努力从一个Java类运行Pig脚本。Oozie是评论中提到的一种可能性(尽管对于我们的需求来说太重了)。我还听说,在Cascading()中,可以将Pig脚本作为更大作业流的一部分进行编排,并对此进行了一些研究。在实践中,我将大部分Pig脚本包装在bash脚本中。您可以控制shell脚本内部的顺序执行: pig myscript1.pig&&pig myscript2.pig&&pi

我需要在Hadoop中按顺序运行一些Pig脚本。它们必须分开运行。有什么建议吗

更新


这只是一个快速更新,我们正在努力从一个Java类运行Pig脚本。Oozie是评论中提到的一种可能性(尽管对于我们的需求来说太重了)。我还听说,在Cascading()中,可以将Pig脚本作为更大作业流的一部分进行编排,并对此进行了一些研究。

在实践中,我将大部分Pig脚本包装在bash脚本中。您可以控制shell脚本内部的顺序执行:


pig myscript1.pig&&pig myscript2.pig&&pig myscript3.pig

对于一系列简单的任务,我想orangeoctopus建议的可能就足够了。如果您想将pig和/或纯香草MapReduce的更复杂工作流组合在一起,您可能应该看看

更新:

如果您使用的是pig0.9,那么还可以考虑将pig嵌入到python之类的语言中。这是菜单