Airflow 气流计划\u间隔和活动DAG运行 定义用于处理培训数据的实例
我有这样的代码。所以在我看来,这个dag将每一小时执行一次。 但在气流网络中,我在计划部分得到了很多跑步日。这一天一直在执行。 特别是,在树状视图部分,我可以看到所有的区块在一小时内被填满!!!Airflow 气流计划\u间隔和活动DAG运行 定义用于处理培训数据的实例,airflow,Airflow,我有这样的代码。所以在我看来,这个dag将每一小时执行一次。 但在气流网络中,我在计划部分得到了很多跑步日。这一天一直在执行。 特别是,在树状视图部分,我可以看到所有的区块在一小时内被填满!!! 我对时间间隔函数感到困惑。有没有办法解决这个问题。我知道,问题在于实际时间和开始日期之间的时间设置不一致。如果开始日期晚于实际时间,系统将回填过去的时间。在第一次运行时,它将从您在开始日期定义的日期开始。从那时起,计划程序将根据计划时间间隔创建新的DAG运行,并在满足依赖项时运行相应的任务实例。 你可以
我对时间间隔函数感到困惑。有没有办法解决这个问题。我知道,问题在于实际时间和开始日期之间的时间设置不一致。如果开始日期晚于实际时间,系统将回填过去的时间。在第一次运行时,它将从您在
开始日期
定义的日期开始。从那时起,计划程序将根据计划时间间隔创建新的DAG运行,并在满足依赖项时运行相应的任务实例。
你可以阅读更多关于它的信息。你说得对。这就是我想解释的。非常感谢。
dag = DAG(
dag_id,
start_date = datetime(2019, 11, 14),
description = 'Reading training logs from the corresponding location',
default_args = default_args,
schedule_interval = timedelta(hours=1),
)