Google cloud composer 如何在google composer上应用配置？（core.dag_并发，core.parallelism）

我使用谷歌作曲家。 图像版本：composer-1.7.0-airflow-1.10.2 Python版本：3

我需要更多的并行性和dag_并发性。 我在谷歌云控制台（composer页面）上更改了配置

• 核心
  • 每个dag的最大活动运行次数：20
  • dag_并发：100
  • 平行度：200

检查composer web之后。我看到气流网页（管理->配置）配置文本已更改 但是我测试了它。编写器并发性和并行性限制仍然相同

---

如何应用此配置？

您是如何测试未应用配置的？您是否可以尝试设置一个较小的

并行度
（例如1），同时启动两个任务，并检查这两个任务是否同时运行？只是为了确保即使web UI这么说，也不会应用配置。我创建了一个池，然后在该池上运行一个dag（这个dag有很多任务，任务执行时间很长），但在我写下这个问题之后。我找到了解决办法。链接：并行性自动缩放到节点数。所以我增加了节点的数量。你能解释一下吗？我问了同样的问题，找到了同样的页面，但不清楚。因此，
gcloud composer环境运行$ENVIRONMENT--location$location变量--set core-dag_concurrency 100
和类似的
核心并行性
？还是通过web UI设置芹菜？Google Groups的一篇帖子声称该文档是错误的，“除了celery-celery\u app\u name、celery-worker\u log\u server\u port、celery-broker\u url、celery-celery\u result\u backend、celery-default\u queue、celery-celery\u config\u选项之外的所有芹菜配置都应该可以在version composer-1.0.0环境中更新”。我尝试了几乎相同的操作，但都不起作用。我的解决方案是增加节点数。我猜如果你添加一个节点，并行性，并发性会发生变化，不管它设置了什么配置，它都会增加5。你是如何测试你的配置没有被应用的？您是否可以尝试设置一个较小的
并行度
（例如1），同时启动两个任务，并检查这两个任务是否同时运行？只是为了确保即使web UI这么说，也不会应用配置。我创建了一个池，然后在该池上运行一个dag（这个dag有很多任务，任务执行时间很长），但在我写下这个问题之后。我找到了解决办法。链接：并行性自动缩放到节点数。所以我增加了节点的数量。你能解释一下吗？我问了同样的问题，找到了同样的页面，但不清楚。因此，
gcloud composer环境运行$ENVIRONMENT--location$location变量--set core-dag_concurrency 100
和类似的
核心并行性
？还是通过web UI设置芹菜？Google Groups的一篇帖子声称该文档是错误的，“除了celery-celery\u app\u name、celery-worker\u log\u server\u port、celery-broker\u url、celery-celery\u result\u backend、celery-default\u queue、celery-celery\u config\u选项之外的所有芹菜配置都应该可以在version composer-1.0.0环境中更新”。我尝试了几乎相同的操作，但都不起作用。我的解决方案是增加节点数。我猜如果你添加一个节点，并行性，并发性会发生变化，不管它设置了什么配置，它都会增加5。