Airflow Google Cloud Composer服务器遇到临时错误,无法完成您的请求

Airflow Google Cloud Composer服务器遇到临时错误,无法完成您的请求,airflow,google-cloud-composer,Airflow,Google Cloud Composer,运行几天后,Google Cloud Composer web UI无限期返回502服务器错误: Error: Server Error The server encountered a temporary error and could not complete your request. Please try again in 30 seconds. 修复它的唯一方法是重新创建Composer环境。尽管在运行了几天之后,新环境崩溃了,并出现了相同的错误 Image version: com

运行几天后,Google Cloud Composer web UI无限期返回502服务器错误:

Error: Server Error
The server encountered a temporary error and could not complete your request.
Please try again in 30 seconds.
修复它的唯一方法是重新创建Composer环境。尽管在运行了几天之后,新环境崩溃了,并出现了相同的错误

Image version: composer-1.4.0-airflow-1.10.0
Python version: 3

有人知道根本原因是什么吗?

我没有运行Cloud Composer,但我怀疑存在web服务器已从所有web工作线程退出的情况。当airflow读取或写入数据库的超时时间延长时,有时会发生这种情况;可能是由于锁定或网络连接问题。它可能被配置为在完全退出时重新启动,但在某些情况下,
airflow webserver
命令仍将保持不变而不退出,即使所有web工作人员都已退出


或者,502是关于为GCP实现的身份提供者的。如果是这种情况,您可能会发现您需要注销您的Google登录,并使用Airflow提供的登录流(如果它响应私人浏览器会话或注销会话)。

我遇到了相同的502错误,结果证明这是DAG本身的问题。如上所述:

web服务器解析DAG定义文件,如果DAG中有错误,则可能发生502网关超时

在Composer/Monitoring中可见


Web服务器受到DAG本身问题的影响。我们通过删除最近添加的DAG解决了这个问题,几分钟后气流UI启动。

我也遇到了同样的问题,您最终找到解决方案了吗?谢谢还没有,开发人员正在研究。