Airflow 在“气流”中使用“ds”动态生成任务

Airflow 在“气流”中使用“ds”动态生成任务,airflow,directed-acyclic-graphs,Airflow,Directed Acyclic Graphs,我在一个数据库中有多个表,这取决于对应的列是否比ds更新,是否应将其作为任务添加到DAG中 1 2 validate_sources -> __multiple_sources__ -> aggregations -> validate 3 4

我在一个数据库中有多个表,这取决于对应的列是否比
ds
更新,是否应将其作为任务添加到DAG中

                            1
                            2
validate_sources ->  __multiple_sources__  -> aggregations -> validate
                            3
                            4
                            N

也就是说,我希望源代码并行运行(每个源代码都是单个任务),这是没有问题的,如果我只想在
ds
之后运行单个源代码,那么这就行了,但是
ds
和动态生成的组合我不知道怎么做,因为此时无法使用ds。

也许对于每个源,始终使用
聚合
验证
任务会更容易,但如果没有更新,只需短路下游任务,使其无法运行