Airflow LocalExecutor的气流配置建议

我正在使用airflow docker compose，我有一些性能问题以及气流崩溃的奇怪行为

首先，我有5个DAG在同一时间运行，每个DAG有8个步骤

max\u active\u runs=1

：

 step1x
 step2y
 step3 >> step4 >> step8
 step3 >> step5 >> step8
 step3 >> step6 >> step8
 step3 >> step7 >> step8

我想知道我应该使用什么配置来最大化气流平行度与稳定性。i、 e:我想知道对于具有X CPU和Y GB RAM的机器，建议的最大[以下选项]是多少。 我使用的是

LocalExecutor

，但不知道如何配置并行性：

AIRFLOW__SCHEDULER__SCHEDULER_MAX_THREADS=?
AIRFLOW__CORE__PARALLELISM=?
AIRFLOW__WEBSERVER__WORKERS=?

---

是否有一份文件根据您的机器规格说明每种机器的建议

我不确定您是否有并行性问题……还没有

你能澄清一下吗？您有5个具有类似设置的不同DAG？还是同时启动同一任务的五个实例？我希望是前者，因为

max\u active\u runs

设置

在您的任务声明中：

 step1x
 step2y
 step3 >> step4 >> step8
 step3 >> step5 >> step8
 step3 >> step6 >> step8
 step3 >> step7 >> step8

---

您是否希望同时执行

step1x

、

step2y

和

step3

？然后是4-7，最后是

步骤8

？您在DAG中做什么？在DAG中，您需要这种过程，而不是1-8个顺序？

是的，所有5个DAG都有相同的设置，但使用不同的参数。步骤1、2和3是独立的，可以并行运行。DAG正在使用不同的设置处理来自不同来源的数据。每个源每分钟都提供数据，所以我为每个源创建了一个Dag。不同并发设置的调优方法。可能会有帮助吗？真的很有帮助，谢谢。但是这个问题是不同的，我需要一个关于机器容量（CPU和RAM）的本地执行器配置建议