Airflow 气流:即使未运行任务,DAG状态也为成功
在其10次运行中的2次运行中,DAG状态自动设置为成功,即使其中没有运行任何任务。以下是传递的DAG参数及其树视图Airflow 气流:即使未运行任务,DAG状态也为成功,airflow,airflow-scheduler,Airflow,Airflow Scheduler,在其10次运行中的2次运行中,DAG状态自动设置为成功,即使其中没有运行任何任务。以下是传递的DAG参数及其树视图 args = { 'owner': 'xyz', 'depends_on_past': False, 'catchup': False, 'start_date': datetime(2019, 7, 8), 'email': ['a@b.c'], 'email_on_failure': False, 'email_on_re
args = {
'owner': 'xyz',
'depends_on_past': False,
'catchup': False,
'start_date': datetime(2019, 7, 8),
'email': ['a@b.c'],
'email_on_failure': False,
'email_on_retry': False,
'retries': 0,
'provide_context': True,
'retry_delay': timedelta(minutes=2)
}
我将DAG作为一个上下文传递,如下所示:
with DAG(PARENT_DAG_NAME, default_args=args, schedule_interval='30 * * * *') as main_dag:
task1 = DummyOperator(
task_id='Raw_Data_Ingestion_Started',
)
task2 = DummyOperator(
task_id='Raw_Data_Ingestion_Completed',
)
task1 >> task2
你知道会有什么问题吗?我需要在配置文件中更改它吗?而且这种行为不是周期性的。根据Dummy Operator的官方说法:
实际上什么也不做的运算符。它可用于在DAG中对任务进行分组
我也有同样的问题。令人恼火的是,我有另一个dag,它有一些任务,可以使用pyspark进行一些计算,并且dag运行良好。即使它们是伪运算符,也应该运行并将颜色更改为绿色。