Airflow 使用python脚本触发作业_Airflow_Airflow Scheduler

Airflow 使用python脚本触发作业

airflow

Airflow 使用python脚本触发作业,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我有基于类别的DAG列表。应根据类别的优先级从主dag调用这些dag（以避免资源约束）我的想法是创建一个python脚本，其中这些类别DAG应该根据我们在元数据表中设置的优先级（而不是基于时间）触发。此python脚本将在主dag中使用bashoperator调用要清楚，主dag应该是基于时间的。子DAG应根据优先级从主DAG触发我的问题是 1）是否可以使用python触发dag？没有时间限制。 2）我想并行运行几个分类DAG。如何做到这一点。请帮助我解决此问题。您可以使用Trigge

我有基于类别的DAG列表。应根据类别的优先级从主dag调用这些dag（以避免资源约束）

我的想法是创建一个python脚本，其中这些类别DAG应该根据我们在元数据表中设置的优先级（而不是基于时间）触发。此python脚本将在主dag中使用bashoperator调用

要清楚，主dag应该是基于时间的。子DAG应根据优先级从主DAG触发

我的问题是

1）是否可以使用python触发dag？没有时间限制。

2）我想并行运行几个分类DAG。如何做到这一点。请帮助我解决此问题。

您可以使用

TriggerDagRunOperator

并对使用

TriggerDagRunOperator

的每个任务设置

优先级\u权重
：为指定的DAG\u id

（int）–此任务相对于其他任务的优先级权重。这允许执行者在备份时先触发优先级更高的任务。对于更重要的任务，将优先级权重设置为更高的数字
您可以使用TriggerDagRunOperator
并对使用TriggerDagRunOperator
实现此目的的每个任务设置priority\u weight

：为指定的DAG\u id

（int）–此任务相对于其他任务的优先级权重。这允许执行者在备份时先触发优先级更高的任务。对于更重要的任务，将优先级权重设置为更高的数字