Airflow 气流或任何其他选项中任务之间的延迟?

Airflow 气流或任何其他选项中任务之间的延迟?,airflow,airflow-2.x,Airflow,Airflow 2.x,我们使用的是气流2.00。我正在尝试实现一个DAG,它有两个功能: 通过API触发报告 将报告从源下载到目标 任务1和任务2之间至少需要2-3小时的间隔。根据我的研究,我有两个选择 两个DAG用于两项任务。安排第二次DAG,与第一次DAG相隔两小时 上述两项任务之间的延迟 这两个选项之间是否有偏好。气流2.0是否有第三个选项?请告知。另一种选择是让传感器等待报告出现。您可以利用传感器的重新调度模式来释放工作人员的插槽 generate_report=GenerateOperator(…) 等待报

我们使用的是气流2.00。我正在尝试实现一个DAG,它有两个功能:

  • 通过API触发报告
  • 将报告从源下载到目标
  • 任务1和任务2之间至少需要2-3小时的间隔。根据我的研究,我有两个选择

  • 两个DAG用于两项任务。安排第二次DAG,与第一次DAG相隔两小时
  • 上述两项任务之间的延迟

  • 这两个选项之间是否有偏好。气流2.0是否有第三个选项?请告知。

    另一种选择是让传感器等待报告出现。您可以利用传感器的重新调度模式来释放工作人员的插槽

    generate_report=GenerateOperator(…)
    等待报告=WaitForReportSensor(模式='reschedule',触发间隔=5*60,…)
    donwload_report=DonwloadReportOperator(…)
    生成报告>>等待报告>>下载报告
    
    第三种选择是在两个任务之间使用一个等待报告准备就绪的间隔。如果您的源有一个,或者自定义的子类化了


    前两个选项是固定等待时间的不同实现。它有两个问题:1。如果在预定义的时间之后报告仍然没有准备好怎么办?2.如果报告已提前准备好,则无需等待。

    传感器选项是解决方法