Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 在GoogleComposer中使用插件使其崩溃_Google Cloud Platform_Airflow - Fatal编程技术网

Google cloud platform 在GoogleComposer中使用插件使其崩溃

Google cloud platform 在GoogleComposer中使用插件使其崩溃,google-cloud-platform,airflow,Google Cloud Platform,Airflow,我为Apache Airflow编写了一个小插件,在我的本地部署中运行良好。但是,当我使用GoogleComposer时,用户界面会挂起并变得无响应。有没有办法在Google Composer中重新启动Web服务器(注意:这个答案目前比最终确定的更具启发性。) 只要重新启动Web服务器 什么不起作用: 我查看了文档中描述的使用Web服务器但不从CLI访问或重新启动的内容 虽然您也可以在Composer上使用,但我今天在Airflow CLI中没有看到用于重新启动Web服务器的命令 我在Goog

我为Apache Airflow编写了一个小插件,在我的本地部署中运行良好。但是,当我使用GoogleComposer时,用户界面会挂起并变得无响应。有没有办法在Google Composer中重新启动Web服务器(注意:这个答案目前比最终确定的更具启发性。)

只要重新启动Web服务器

什么不起作用:

  • 我查看了文档中描述的使用Web服务器但不从CLI访问或重新启动的内容
  • 虽然您也可以在Composer上使用,但我今天在Airflow CLI中没有看到用于重新启动Web服务器的命令
  • 我在Google Cloud SDK中检查了gcloud CLI,但没有找到与重启相关的命令。 以下是在Composer上重新启动Airflow Web服务器的一些想法:

  • 在gcloud CLI中,存在更改环境属性的方法。我假设在您更改其中一个以应用新设置后,它会重新启动调度器和Web服务器(在新容器中)。您可以将任意环境变量设置为检查,但只运行update命令而不进行任何更改可能会起作用

    gcloud beta composer环境更新

  • 或者,您可以在GCP控制台中排除环境变量

  • 我认为重新运行importplugins命令也会导致调度器/web服务器重新启动

    gcloud beta composer环境存储插件导入

在更高级的设置中,Composer支持。按照链接的指南,您可以:连接到Composer实例的GKE集群,为Web服务器创建部署和服务Kubernetes配置文件,并使用
kubectl create
部署这两个配置文件。然后,您可以在pod上运行或
kubectl delete
,以触发新的启动


所有这些感觉都有点过分,所以希望通过文档或更简单的方法来实现Web服务器重启,从而成功地解决这些问题。

我说了什么值得否决?真的吗?你能描述一下你创建的插件是做什么的,并在你的问题中添加相关的代码吗?您还可以添加您尝试过的内容/您已经搜索过的位置吗?您可能会发现SO指南也有助于为问题添加更多细节。我正在研究重启部分。我在下面添加了一个初步答案,这可能会有所帮助。如果它对您有效/无效,请告诉我,我很乐意编辑。@TaylorEdmiston我的插件是来自当前主分支的数据流运行程序的后端口,因为1.9.0中的版本在我的环境中根本不起作用。我不得不说,我也解决了master分支中的一些错误,但是我还没有机会创建票证和推拉请求到github。谢谢,这是一个非常好的答案。目前,我使用云SQL管理的mysql实例手动将Airflow 1.9.0安装到计算引擎实例中,现在我可以顺利运行管道。我确实尝试了update命令,但没有成功。安装一个自我管理的airflow web服务器似乎是一个相当大的任务,几乎和管理我自己的安装一样。