Airflow 我可以在没有catchup的dag中创建启用catchup的子dag吗？

我的目标是使用

EmrCreateJobFlowOperator

和

EmrAddStepsOperator

调度作业。也就是说，我想创建集群，并为从指定日期开始的每个计划日（或小时）添加步骤。基本上，我希望

EmrAddStepsOperator

被回填，但不希望

EmrCreateJobFlowOperator

。为了实现这一点，我认为我可以使用子dag概念，其中父dag将禁用追赶，子dag将启用追赶。我不想为每个步骤创建EMR集群。

---

这可能吗？还有其他选项吗？

Catchup=False在Dag级别设置。对于

ErmCreateJobFlowOperator

任务，您可以尝试使用与

ShortCircuitOperator

或

PythonBranchOperator

相同的逻辑，该任务仅在EMR群集不存在时运行。我不确定这是否解决了问题。我需要在第一次运行时向一个集群添加步骤，之后每天只添加一个步骤。但似乎仅仅使用气流概念是无法做到的，一些额外的开发。Catchup=False设置在Dag级别。对于

ErmCreateJobFlowOperator

任务，您可以尝试使用与

ShortCircuitOperator

或

PythonBranchOperator

相同的逻辑，该任务仅在EMR群集不存在时运行。我不确定这是否解决了问题。我需要在第一次运行时向一个集群添加步骤，之后每天只添加一个步骤。但似乎仅仅使用气流概念是无法做到的，这是一些额外的发展。