Airflow 无法将插件模块与Cloud Composer一起使用

Airflow 无法将插件模块与Cloud Composer一起使用,airflow,google-cloud-composer,Airflow,Google Cloud Composer,我正在尝试使用Cloud Composer来运行我的工作流。我想使用Google CloudStorageToLoglecloudStorageOperator,它可以从Apache Airflow v1.10获得,但当前的cloud composer不支持它,目前2019/01/16只支持Apache Airflow v1.9 在的指导下,我自己将操作符添加到cloud composer环境中,直到几天前它还运行得很好 然而,就目前而言,当我尝试创建一个新的cloud composer env

我正在尝试使用Cloud Composer来运行我的工作流。我想使用Google CloudStorageToLoglecloudStorageOperator,它可以从Apache Airflow v1.10获得,但当前的cloud composer不支持它,目前2019/01/16只支持Apache Airflow v1.9

在的指导下,我自己将操作符添加到cloud composer环境中,直到几天前它还运行得很好

然而,就目前而言,当我尝试创建一个新的cloud composer env并部署以前运行良好的相同DAG时,我在Airflow Web UI上收到以下错误消息。DAG失败了

Broken DAG: [/home/airflow/gcs/dags/xxx.py] Relationships can only be set between Operators; received GoogleCloudStorageToGoogleCloudStorageOperator
即使使用相同的代码并按照相同的过程将DAG部署到cloud composer,我也无法理解为什么会发生此错误


我感谢那些给我任何建议来解决这个问题的人。

试试天文学家云上的DAG,30天免费试用


披露:我在天文学家工作。

这是由于Composer 1.4.2中的一个bug已经修复


仅供参考,Cloud Composer现在支持Airflow v1.10.0。查看这里的发布说明:是的,我看到了发布说明。但是我找不到如何选择气流v1.10.0。是否有任何文档说明如何选择Airflow的版本?单击进入Composer,有一个启用Beta功能复选框。检查后,您可以选择气流1.10.0。谢谢您的建议。我可以在我的环境中运行Airflow v1.10.0。我的DAG可以在没有上述问题的情况下执行。再次感谢!可能的副本谢谢你的建议。服务很有趣。但是如果我不能解决这个问题,我可以直接使用气流。我不想与黑盒包装层抗争,即使它被证明是托管服务。它不是黑盒-我们所有的代码都在Github上,我们的平台运行完全可定制的部署。哦,对不起。我没有仔细检查。很有趣。让我检查一下你的服务。谢谢