Airflow 在“气流”中使用“ds”动态生成任务
我在一个数据库中有多个表,这取决于对应的列是否比Airflow 在“气流”中使用“ds”动态生成任务,airflow,directed-acyclic-graphs,Airflow,Directed Acyclic Graphs,我在一个数据库中有多个表,这取决于对应的列是否比ds更新,是否应将其作为任务添加到DAG中 1 2 validate_sources -> __multiple_sources__ -> aggregations -> validate 3 4
ds
更新,是否应将其作为任务添加到DAG中
1
2
validate_sources -> __multiple_sources__ -> aggregations -> validate
3
4
N
也就是说,我希望源代码并行运行(每个源代码都是单个任务),这是没有问题的,如果我只想在
ds
之后运行单个源代码,那么这就行了,但是ds
和动态生成的组合我不知道怎么做,因为此时无法使用ds。也许对于每个源,始终使用聚合
和验证
任务会更容易,但如果没有更新,只需短路下游任务,使其无法运行