Mysql 在并行管道中放置时DAG中未显示的任务
我有四个操作可以使用Airflow将MySQL的表提取到BigQuery中。我将我的任务分为两个步骤,从MySQL提取到GCS,然后为每个表将GCS Json加载到BQ中(我从MySQL中有四个表,所以它将是8个任务) 我将我的任务放在如下位置:Mysql 在并行管道中放置时DAG中未显示的任务,mysql,airflow,google-bigquery,Mysql,Airflow,Google Bigquery,我有四个操作可以使用Airflow将MySQL的表提取到BigQuery中。我将我的任务分为两个步骤,从MySQL提取到GCS,然后为每个表将GCS Json加载到BQ中(我从MySQL中有四个表,所以它将是8个任务) 我将我的任务放在如下位置: [ task_extract_table_A>>task_load_table_A, task_extract_table_B>>task_load_table_B, task_extract_table_C>>ta
[
task_extract_table_A>>task_load_table_A,
task_extract_table_B>>task_load_table_B,
task_extract_table_C>>task_load_table_C,
task_extract_table_D>>task_load_table_D
]
但是,在我的仪表板中,只显示了表A、B和C的提取和加载,而没有显示表D。有人知道这个管道发生了什么吗
我对每个表使用相同的DAG声明。您不需要在其上使用方括号
[]
。只需使用以下命令:
task\u extract\u table\u A>>task\u load\u table\u A,
任务提取表>>任务加载表,
任务提取表C>>任务加载表C,
任务提取表>>任务加载表