运行Apache Airflow的理想环境是什么?

运行Apache Airflow的理想环境是什么?,airflow,Airflow,我目前正在我的电脑上运行UbuntuWSL,它工作得很好。然而,我正在建立一条需要持续运行(24/7)的管道,因此我正在寻找关于运行气流的想法和建议。显然,我不想让我的系统一直开着 令人惊讶的是,我找不到太多关于这方面的信息!似乎没有详细讨论 这取决于你的工作量 如果要运行的任务很少,您可以在任何云提供商(GCP、AWS、Azure等)上创建一个VM,并在其上安装24x7运行的Airflow 如果您的工作量很大,您可以使用K8s(GKE、EKS等)并在其上安装气流。[1]对于气流部署,我建议集装

我目前正在我的电脑上运行UbuntuWSL,它工作得很好。然而,我正在建立一条需要持续运行(24/7)的管道,因此我正在寻找关于运行气流的想法和建议。显然,我不想让我的系统一直开着


令人惊讶的是,我找不到太多关于这方面的信息!似乎没有详细讨论

这取决于你的工作量

如果要运行的任务很少,您可以在任何云提供商(GCP、AWS、Azure等)上创建一个VM,并在其上安装24x7运行的Airflow

如果您的工作量很大,您可以使用K8s(GKE、EKS等)并在其上安装气流。

[1]对于气流部署,我建议集装箱化方法最适合长期使用。关于这一点,你可以参考。但即使这样,也有一些选项,如
ECS
/
Fargate
(芹菜),
Kubernetes
(它也是气流中的执行者)。[2] 有关气流工作流设置,请查看