Apache airflow,TimeDeltaSensor延迟DAG中的所有任务
我有一个指定的气流dag,如上图所示。 git pull数据生成器批处理2应被TimeDeltaSensorApache airflow,TimeDeltaSensor延迟DAG中的所有任务,airflow,Airflow,我有一个指定的气流dag,如上图所示。 git pull数据生成器批处理2应被TimeDeltaSensor延迟一小时 但是,任务git\u pull\u datagenerator似乎也会延迟,尽管它不依赖于wait\u hour。(整个dag计划在2019-12-10T20:00:00进行,但git_pull_datagenerator比计划晚一个小时启动) 我已经检查了所有的气流文件,但没有找到任何线索。我假设您的日程间隔是每小时一次?执行日期为2019-12-10T20:00:00的DA
延迟一小时
但是,任务git\u pull\u datagenerator
似乎也会延迟,尽管它不依赖于wait\u hour
。(整个dag计划在2019-12-10T20:00:00进行,但git_pull_datagenerator比计划晚一个小时启动)
我已经检查了所有的气流文件,但没有找到任何线索。我假设您的日程间隔是每小时一次?执行日期为2019-12-10T20:00:00的DAG运行(按
@小时
计划间隔)预计将在2019-12-10T21:00:00
后运行,时间为20小时“完成”。我认为这与传感器无关
这是一个:
气流是为满足ETL需求而开发的一种解决方案。在ETL世界中,
您通常会汇总数据。所以,如果我想总结一下
2016-02-19,我会在2016-02-20格林威治标准时间午夜做这件事
2016年2月19日的所有数据可用后
如果发生这种情况,
等待一个小时
开始于2019-12-10T21:00:00
和git\u pull\u datagenerator\u batch\u 2
开始于2019-12-10T22:00
结果表明,默认执行器是一个顺序执行器,它使所有任务以线性顺序运行