Airflow 在日志中执行两次运算符:执行日期不同

Airflow 在日志中执行两次运算符:执行日期不同,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我们在这里都是比较新的,所以这个问题有点让我们困惑。在这个特殊的DAG内,我们的工程师已将DAG设置为回填。在ETC中传递上下文。我们目前看到的是日志中有两个执行日期非常不同的运算符(请参见下文)。还请注意,我缩短了日志,所以我不只是粘贴所有内容 我还想包括DAG以及它存在于我们的Airflow实例中。一切看起来都是正确的,它反映了我们过去所做的事情 DAG上的代码审查,以及用于从Google检索数据的脚本。我觉得一切都很好。说到这些,我是个新手,所以我可能遗漏了一些东西 脚本的日志 *** R

我们在这里都是比较新的,所以这个问题有点让我们困惑。在这个特殊的DAG内,我们的工程师已将DAG设置为回填。在ETC中传递上下文。我们目前看到的是日志中有两个执行日期非常不同的运算符(请参见下文)。还请注意,我缩短了日志,所以我不只是粘贴所有内容

我还想包括DAG以及它存在于我们的Airflow实例中。一切看起来都是正确的,它反映了我们过去所做的事情

DAG上的代码审查,以及用于从Google检索数据的脚本。我觉得一切都很好。说到这些,我是个新手,所以我可能遗漏了一些东西

脚本的日志

*** Reading local file: /usr/local/airflow/logs/kroger/create_log_dir/2018-03-04T07:00:00+00:00/1.log
[2019-03-29 20:37:26,562] {{models.py:1359}} INFO - Dependencies all met for <TaskInstance: kroger.create_log_dir 2018-03-04T07:00:00+00:00 [queued]>
[2019-03-29 20:37:26,566] {{models.py:1359}} INFO - Dependencies all met for <TaskInstance: kroger.create_log_dir 2018-03-04T07:00:00+00:00 [queued]>
[2019-03-29 20:37:26,566] {{models.py:1571}} INFO - 
--------------------------------------------------------------------------------
Starting attempt 1 of 4
--------------------------------------------------------------------------------

[2019-03-29 20:37:26,577] {{models.py:1593}} INFO - Executing <Task(PythonOperator): create_log_dir> on 2018-03-04T07:00:00+00:00

--------------------------------------------------------------------------------
Starting attempt 1 of 4
--------------------------------------------------------------------------------

[2019-04-09 01:04:21,054] {{models.py:1593}} INFO - Executing <Task(PythonOperator): create_log_dir> on 2018-03-04T07:00:00+00:00
[2019-04-09 01:04:21,054] {{base_task_runner.py:118}} INFO - Running: 
[2019-04-09 01:04:26,031] {{logging_mixin.py:95}} INFO - [2019-04-09 01:04:26,030] {{jobs.py:2527}} INFO - Task exited with return code 0
目前,就我们正在检索的数据而言,一切似乎都在按预期工作。我只是在查看日志,每个日志有多个操作员让我有些担心。请让我知道,如果有任何更多的信息,我可以在这里提供,使这个问题更好地为你们大家

args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2018, 1, 1),
    # 'email': [''],
    # 'email_on_failure': True,
    # 'email_on_retry': False,
     'retries': 3,
     'retry_delay': timedelta(minutes=15),
    # 'schedule_interval':'0 10 * * *',
    # 'queue': 'bash_queue',
    # 'pool': 'backfill',
    # 'priority_weight': 10,
    # 'end_date': datetime(2019, 4, 12),
}


dag = DAG(dag_id='kroger',
          default_args=args,
          schedule_interval="0 7 * * *",
          catchup=True)

t0 = PythonOperator(task_id='create_log_dir',
                    python_callable=utils.create_account_dirs,
                    op_args=['kroger'],
                    dag=dag)
                    # on_failure_callback=send_notification)

t1 = PythonOperator(task_id = 'build_ds_table',
                    python_callable=build_schema.create_schema,
                    provide_context=True,
                    dag=dag)
                    # on_failure_callback=send_notification)

t2 =  PythonOperator(task_id = 'ds',
                     python_callable= ds.upload_ds_report,
                     provide_context=True,
                     dag=dag)

t0 >> t1
t1 >> t2