Google cloud platform 如何使用WebUI在气流中使用多个行李

我们正在通过Google Cloud Composer运行Airflow 1.10.3

我们的DAG分布在几个文件夹中，这些文件夹是通过DagBag实例收集的（如下所示）

但是，WebUI显然找不到任何不在主dag文件夹中的dag（在airflow.cfg中配置的dag） 这似乎是因为在

aiffort.www.views

中只有一个全局变量

dagbag

。 这真的是问题吗？什么是解决办法

其他信息：

• 气流列表\u DAG

  显示所有DAG
• dag也会在WebUI中列出，并且似乎会被安排，但是在WebUI中单击dag只会产生错误“似乎不在dagbag中”

---

我很想听听你的想法，因为我在这里迷路了。

根据Cloud Composer的说法，dags_folder参数被阻止，无法覆盖（你只能使用Cloud Composer环境创建的GCS bucket）。这允许Cloud Composer上载DAG，并且DAG文件夹仍保留在Google云存储桶中

由于DAGBag无法修改，并且由于Apache Airflow不提供强大的DAG隔离，因此建议您在不同的环境中保持DAG的独立性，以防止损坏

我在Composer环境中进行了一些测试，创建了多个文件夹来分隔我的DAG：

在所有情况下，我的DAG都被识别并按预期运行，即使对于子文件夹：

---

如果在Composer创建的dag文件夹中重新创建文件夹对您来说是不可行的。我建议您将自己bucket的内容与Composer dags文件夹同步，您可以镜像这两个bucket。

根据Cloud Composer，dags_folder参数被阻止，无法覆盖（您只能使用Cloud Composer环境创建的GCS bucket）。这允许Cloud Composer上载DAG，并且DAG文件夹仍保留在Google云存储桶中

由于DAGBag无法修改，并且由于Apache Airflow不提供强大的DAG隔离，因此建议您在不同的环境中保持DAG的独立性，以防止损坏

我在Composer环境中进行了一些测试，创建了多个文件夹来分隔我的DAG：

在所有情况下，我的DAG都被识别并按预期运行，即使对于子文件夹：

如果在Composer创建的dag文件夹中重新创建文件夹对您来说是不可行的。我建议您将自己存储桶的内容和Composer dags文件夹同步，这样您就可以镜像这两个存储桶

$ gcloud beta composer environments storage dags list  --environment=$ENVIRONMENT --location=us-east1
NAME
dags/
dags/airflow_monitoring.py
dags/dev/
dags/dev/airflow_monitoring_dev.py
dags/qa/
dags/qa/airflow_monitoring_qa.py
dags/qa/qa_test1/
dags/qa/qa_test1/airflow_monitoring_qa_test1.py