Airflow 气流:DAG数量的实际限制

Airflow 气流:DAG数量的实际限制,airflow,Airflow,气流系统中DAG数量的实际限制是多少 在创建了几百个DAG之后,我们看到了严重的延迟 有人在运行1000的DAG吗?这取决于你如何运行气流以及你提供了多少资源。如果您有大量任务,您可以使用芹菜和主菜以及具有高内存和vCore的工作者以分布式模式运行Airflow。I在任务之间也有严重的延迟。问题是调度程序导致我的许多任务在10秒内执行。目前,我们在一个文件中分离了大约150个DAG,eachI会补充一个问题,即每个DAG的任务数量是否也有实际限制。

气流系统中DAG数量的实际限制是多少

在创建了几百个DAG之后,我们看到了严重的延迟


有人在运行1000的DAG吗?

这取决于你如何运行气流以及你提供了多少资源。如果您有大量任务,您可以使用芹菜和主菜以及具有高内存和vCore的工作者以分布式模式运行Airflow。

I在任务之间也有严重的延迟。问题是调度程序导致我的许多任务在10秒内执行。目前,我们在一个文件中分离了大约150个DAG,eachI会补充一个问题,即每个DAG的任务数量是否也有实际限制。