Airflow 气流按需DAG,多个实例同时运行

Airflow 气流按需DAG,多个实例同时运行,airflow,airflow-scheduler,Airflow,Airflow Scheduler,我想看看我的气流是否适合这种情况。目前,我有一个DAG。这将在s3中查找触发器文件,创建EMR集群并提交spark作业,然后删除EMR集群。 我的要求是将其转换为按需运行。将有许多用户从应用程序运行导出。对于每次导出运行,我必须调用此DAG。这意味着同一DAG的多个实例将在同一时间运行 我知道我们可以调用API来触发DAG。但我不确定我们是否可以同时运行一个DAG的多个实例。任何人都可以使用类似的用例吗?我使用max\u active\u运行来处理这个问题 dag = DAG( 'dev

我想看看我的气流是否适合这种情况。目前,我有一个DAG。这将在s3中查找触发器文件,创建EMR集群并提交spark作业,然后删除EMR集群。 我的要求是将其转换为按需运行。将有许多用户从应用程序运行导出。对于每次导出运行,我必须调用此DAG。这意味着同一DAG的多个实例将在同一时间运行


我知道我们可以调用API来触发DAG。但我不确定我们是否可以同时运行一个DAG的多个实例。任何人都可以使用类似的用例吗?

我使用max\u active\u运行来处理这个问题

dag = DAG(
    'dev_clickstream_v1',
    max_active_runs=5,
    default_args=DEFAULT_ARGS,
    dagrun_timeout=timedelta(hours=2),
    params=PARAMS
)

你好我想知道你是否找到了答案?我处于类似的场景中,需要一种异步和按需运行DAG的方法。谢谢是的,我正在进行API调用以触发DAG。更重要的是,需要如上所述在dag中设置max_active_runs参数。