Airflow 无状态Apache服务

Airflow 无状态Apache服务,airflow,cloud-foundry,Airflow,Cloud Foundry,我一直在搜索许多文章和官方文档,并成功地将其配置为使用本地postgres实例作为服务元数据。到目前为止,我还不能弄清楚的一件事是,Apache Airflow DAG是否也可以在我的数据库中定义,而不是在相对于Airflow文件夹位置的文件夹中定义 我的目标是使用Cloud Foundry部署无状态气流服务,因此我不能依赖机器上存储的任何DAG配置文件。是否有一种方法可以将气流部署到Cloud Foundry,使DAG配置文件可以从远程数据库动态检索?您可以使用该功能。但它也有局限性: 限制

我一直在搜索许多文章和官方文档,并成功地将其配置为使用本地postgres实例作为服务元数据。到目前为止,我还不能弄清楚的一件事是,Apache Airflow DAG是否也可以在我的数据库中定义,而不是在相对于Airflow文件夹位置的文件夹中定义

我的目标是使用Cloud Foundry部署无状态气流服务,因此我不能依赖机器上存储的任何DAG配置文件。是否有一种方法可以将气流部署到Cloud Foundry,使DAG配置文件可以从远程数据库动态检索?

您可以使用该功能。但它也有局限性:

限制

在以下情况下,Web服务器仍然需要访问DAG文件,这就是为什么我们说“几乎”无状态

  • “呈现模板”选项卡仍然需要解析Python文件,因为它需要所有细节,例如执行日期,甚至是上游任务使用Xcom传递的数据

  • 代码视图将读取DAG文件并使用Pygments显示它。但是,它不需要解析Python文件,因此它仍然是一个小操作