以两种不同的频率安排Oozie工作流

以两种不同的频率安排Oozie工作流,oozie,oozie-coordinator,Oozie,Oozie Coordinator,我有一份Oozie的工作,可以增量处理数据。展望未来,我想每小时运行一次这项工作,以便尽快准备结果。但要回填旧数据,一次运行连续作业处理一周的数据会更快 是否可以使用一个允许这两种模式的coordinator.xml文件,并在计划作业时根据临时指定的标志在这两种模式之间进行选择 在coordinator.xml中的标记的参数中,有一个单一的频率,这表明这是不可能的,至少不是以一种自然的方式。我认为没有一种简单的方法可以在一个协调器内执行不同的频率。根据您的描述,回填发生后,您不需要每周工作。 我

我有一份Oozie的工作,可以增量处理数据。展望未来,我想每小时运行一次这项工作,以便尽快准备结果。但要回填旧数据,一次运行连续作业处理一周的数据会更快

是否可以使用一个允许这两种模式的
coordinator.xml
文件,并在计划作业时根据临时指定的标志在这两种模式之间进行选择


coordinator.xml中的
标记的参数中,有一个单一的频率,这表明这是不可能的,至少不是以一种自然的方式。

我认为没有一种简单的方法可以在一个协调器内执行不同的频率。根据您的描述,回填发生后,您不需要每周工作。 我想您还必须更改工作流的参数化以处理更多或更少的数据


另一方面,你可以在过去以你喜欢的频率启动协调器,调整并发、节流和执行等参数,以便Oozie可以通过并行执行工作流来处理积压工作。

我的最终解决方案是以给定的频率(比如每天)创建工作流,然后以不同的频率(每周或每月)创建第二个“回填”工作流,将原始工作流称为“回填”。

数据处理的增量性质意味着每个工作流必须按顺序执行,这意味着它们不能安全地并行执行。回填完成后,每周作业将不再需要运行,是的,工作流必须参数化。我可能把事情搞得太复杂了。:)