Parallel processing Google Cloud Composer：核心关系：并行性、执行器开放槽和任务执行速度

我需要澄清气流核心的关系：并行性、执行器开放插槽及其对任务持续时间的影响

根据我的实验，我注意到Executor打开插槽的数量与Google Cloud Composer气流配置设置的core:parallelism值成正比。 例如，对于3节点编写器，默认并行度和插槽数为30。 有了这个配置，我在整个composer中添加了一个DAG，其中包含一个特定的任务。 在单个任务的持续时间内，我平均读取了10个读数，也就是15秒

接下来，我将并行度减少到10，因此开放插槽也减少到10。 使用相同的任务执行相同的DAG。平均持续时间保持不变，即15秒

我的问题： 默认配置为30。假设我的应用程序只需要执行上面的DAG，而composer上没有其他DAG，我希望充分利用composer资源。 换句话说，我的期望是，在减少并行性时，减少的插槽数量将比以前具有更高的容量，因为编写器的CPU RAM将被更少的插槽消耗。 但实验表明，平均任务持续时间仍然保持不变

---

有人能澄清一下减少并行性是否会使单个任务运行更快吗？

您好！我想和大家分享另一个SO线程的链接：由一位谷歌工程师编写，提供了有关这些配置设置的更多信息。这对你有帮助吗？谢谢你，马斯喀特。你的链接确实有用。然而，一个开放的查询是，降低并行度是否会提高单个任务的速度。i、 它是否能从整个CPU和内存资源中获益？另外，我如何联系链接中提到的mrsrinivas？配置Composer worker_并发性可以减少节点上计划的任务数量，以便为每个任务提供更多内存。当然，这里的权衡是减少并行性。要联系mrsrinivas，您应该发表评论，并使用

@

符号引用昵称。您好！我想和大家分享另一个SO线程的链接：由一位谷歌工程师编写，提供了有关这些配置设置的更多信息。这对你有帮助吗？谢谢你，马斯喀特。你的链接确实有用。然而，一个开放的查询是，降低并行度是否会提高单个任务的速度。i、 它是否能从整个CPU和内存资源中获益？另外，我如何联系链接中提到的mrsrinivas？配置Composer worker_并发性可以减少节点上计划的任务数量，以便为每个任务提供更多内存。当然，这里的权衡是减少并行性。要联系mrsrinivas，您应该发表评论，并使用

@

符号引用昵称。