Airflow 气流或任何其他选项中任务之间的延迟?
我们使用的是气流2.00。我正在尝试实现一个DAG,它有两个功能:Airflow 气流或任何其他选项中任务之间的延迟?,airflow,airflow-2.x,Airflow,Airflow 2.x,我们使用的是气流2.00。我正在尝试实现一个DAG,它有两个功能: 通过API触发报告 将报告从源下载到目标 任务1和任务2之间至少需要2-3小时的间隔。根据我的研究,我有两个选择 两个DAG用于两项任务。安排第二次DAG,与第一次DAG相隔两小时 上述两项任务之间的延迟 这两个选项之间是否有偏好。气流2.0是否有第三个选项?请告知。另一种选择是让传感器等待报告出现。您可以利用传感器的重新调度模式来释放工作人员的插槽 generate_report=GenerateOperator(…) 等待报
这两个选项之间是否有偏好。气流2.0是否有第三个选项?请告知。另一种选择是让传感器等待报告出现。您可以利用传感器的重新调度模式来释放工作人员的插槽
generate_report=GenerateOperator(…)
等待报告=WaitForReportSensor(模式='reschedule',触发间隔=5*60,…)
donwload_report=DonwloadReportOperator(…)
生成报告>>等待报告>>下载报告
第三种选择是在两个任务之间使用一个等待报告准备就绪的间隔。如果您的源有一个,或者自定义的子类化了
前两个选项是固定等待时间的不同实现。它有两个问题:1。如果在预定义的时间之后报告仍然没有准备好怎么办?2.如果报告已提前准备好,则无需等待。传感器选项是解决方法