Apache Airflow-DAG文件夹中的DAG文件数量过多会降低性能
我们正在气流中使用本地执行器来调度作业。当dag文件数量增加时，我们面临着dag运行缓慢的问题，dag内的任务拾取过程非常缓慢 目前我们保留了大约30个dag文件。每个dag最多有2到4个任务 我们试着减少dag的数量，我可以看到它运行得很快 我们可以在气流中使用的dag数量有限制吗 请告诉我如何解决这个问题Apache Airflow-DAG文件夹中的DAG文件数量过多会降低性能,airflow,Airflow,我们正在气流中使用本地执行器来调度作业。当dag文件数量增加时，我们面临着dag运行缓慢的问题，dag内的任务拾取过程非常缓慢 目前我们保留了大约30个dag文件。每个dag最多有2到4个任务 我们试着减少dag的数量，我可以看到它运行得很快 我们可以在气流中使用的dag数量有限制吗 请告诉我如何解决这个问题 我们正在使用Airflow 1.10.9。增加Airflow安装中的资源、更多CPU、更多内存。（仅适用于DAG相似/结构相同的情况）您可以查看；这样，至少磁盘I/O会下降，因为单个（或少
我们正在使用Airflow 1.10.9。增加Airflow安装中的资源、更多CPU、更多内存。（仅适用于DAG相似/结构相同的情况）您可以查看；这样，至少磁盘I/O会下降，因为单个（或少数）文件将能够生成数百个DAG