Airflow 自动缩放谷歌云编辑器

Airflow 自动缩放谷歌云编辑器,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我读过媒体文章,这是搜索autoscaling和Cloud Composer时最热门的文章之一。它显示了一些“黑客”可以用来自动缩放Composer,而它仍然配置为使用CeleryExecutor 我还阅读了关于使用KubernetesPodOperator(KPO)with Cloud Composer的文章,并在以前实现过 但是,使用KPO意味着您不必使用所有其他气流操作符-每次都必须编写自己的容器和代码 Kubernetesecutor似乎是最好的方法-您可以使用气流操作器,并且可以启用自

我读过媒体文章,这是搜索autoscaling和Cloud Composer时最热门的文章之一。它显示了一些“黑客”可以用来自动缩放Composer,而它仍然配置为使用
CeleryExecutor

我还阅读了关于使用
KubernetesPodOperator(KPO)
with Cloud Composer的文章,并在以前实现过

但是,使用
KPO
意味着您不必使用所有其他气流操作符-每次都必须编写自己的容器和代码

Kubernetesecutor
似乎是最好的方法-您可以使用气流操作器,并且可以启用自动缩放

Google Cloud Composer当前运行在CeleryExecutor上,当前状态为

Cloud Composer将气流配置为使用芹菜执行器 用于核心执行器的
设置

KubernetesExecutor
会成为作曲家的选择吗?

我建议这样做 CeleryExecutor和KuberneteSecutor的功能比较概述。正如您已经在提供的链接中研究过的,CeleryExecutor确实为Composer环境提供了可伸缩性。选择KuberneteSecutor会很好,但不是必需的,因为额外的好处不会超过缺点。

我建议这样做
CeleryExecutor和KuberneteSecutor的功能比较概述。正如您已经在提供的链接中研究过的,CeleryExecutor确实为Composer环境提供了可伸缩性。将KuberneteSecutor作为一个选项是很好的,但没有必要,因为额外的好处不会超过缺点。

不幸的是,您的问题还没有得到回答,因为没有正式的计划这样做。也就是说,如果Cloud Composer产品团队至少没有考虑到这一点,我会感到惊讶。

但一旦有相关新闻,就应该在这篇文章中发表。

不幸的是,你的问题还不能得到回答,因为没有官方计划这样做。也就是说,如果Cloud Composer产品团队至少没有考虑到这一点,我会感到惊讶。

但是,一旦有相关消息,就应该在这篇文章中发表。

请详细说明您提到的其他好处和缺点,以及您是如何得出结论的
Kubernetesecutor
“很好”和“没有必要”—“KuberneteSecutor似乎是前进的最佳方式-您可以使用气流操作符,并且可以启用自动缩放,因为它将为每个任务实例创建一个新的Kubernetes吊舱。”那么“不必要”和“缺点”呢“?请详细说明您提到的其他优点和缺点,以及您是如何得出以下结论的:
Kubernetesecutor
“很好”和“不必要”—“KuberneteSecutor似乎是前进的最佳方式-您可以使用气流操作符,并且可以启用自动缩放,因为它将为每个任务实例创建一个新的Kubernetes吊舱。”那么“不必要”和“缺点”呢?