Airflow Cloud Composer Web服务器502服务器错误在“之后”；成功地；使用PyPi包更新

我在使用PyPi软件包升级Cloud Composer后不久收到此错误-在下面列出的4种配置中始终出现此错误

添加到Cloud Composer的python包

外汇兑换率>=1.5.0

数据实验室>=1.1.5

气流网络服务器错误

502服务器错误

错误：服务器错误

服务器遇到临时错误，无法完成您的请求。 请在30秒后重试

GCP状态随时间变化status.cloud.google.com-以下各项均无问题：

谷歌云作曲家

谷歌Kubernetes引擎

发现的StackDriver错误示例

严重性：“错误”文本有效负载：“工作程序：热关机（主进程）

严重性：“错误”文本负载：“信息：GoogleAppClient.discovery:请求的URL:POST

严重性：“错误”textPayload:“正在获取群集端点和身份验证数据

严重性：“错误”文本有效载荷：“为europe-west2-FAKE_INSTANCE-gke生成的kubeconfig条目

严重性：“错误”textPayload:“/usr/local/lib/afflow/afflow/configuration.py:569:不推荐使用警告：不推荐在配置文件中同时指定afflow_HOME环境变量和afflow_HOME。请仅使用afflow_HOME环境变量并删除配置文件条目

首次发行

环境1）通过Cloud Composer GUI创建

-已创建composer env X1，规格与下面的2）相同

-添加了上面列出的2个python包

-DAG增加并一直工作到2019年12月6日

-2019年12月6日左右，网络服务器错误->结果是环境不可用

进一步测试

创建步骤

环境保护2）

环境保护（3）

环境4）手动创建的composer环境X2（配置与2相同）

根据gcloud CLI和Cloud Composer GUI，所有操作均成功

PY PACAKGES步骤

更新2）和3）使用

更新4）使用Cloud Composer GUI

根据gcloud CLI和Cloud Composer GUI，所有操作均成功

但都有气流Web服务器错误->结果是环境不可用

---

有人注意到并解决了这个问题吗？

很高兴听到这个问题已经解决了，只是想补充一下您之前的评论：

需要注意的是，Airflow Web服务器是一个附加组件。即使它关闭，如果Composer环境中没有任何其他问题，Airflow仍然可以正常运行。基于此，如果您的Airflow Web服务器受到影响，您可以使用（通过gcloud）

我还建议您看看这篇文章，您会发现关于如何管理此类问题以及可能引发此类问题的原因的有用文档

---

关于更新Composer环境所需时间的问题，请注意Composer需要创建大量的资源，我建议您查看需要更新的所有组件，每个组件都会发生更改。

删除了forex_python包，问题消失，确定forex_python需要res请求，但这应该没问题，因为根据以下doco，请求是内置的请求==2.19.1，因为每次更新Cloud Composer都需要50分钟，有点担心，当添加多个包时，服务表示成功，StackDriver日志无法识别哪个包有问题，也无法确定原因。当这发生在我添加的pandas PyPI上，日志显示我尝试安装的版本与Airflow实例不兼容（因此无法初始化）。当我更改为兼容版本时，错误消失，气流重新运行。感谢Enrique，气流的部分优势是出色的GUI/可视化，因此CLI没有多少安慰。您提供的中间链接引用了DAG，但这个问题是在DAG添加到env之前出现的。我了解组件-更多的是d在这种情况下，上升速度慢和缺乏有用的诊断反馈的双重打击。干杯。

gcloud beta composer environments create ${COMPOSER_NAME} \
    --location=${COMPOSER_LOCATION} \
    --image-version=composer-1.8.2-airflow-1.10.3 \
    --disk-size=100GB \
    --python-version=3 \
    --node-count=3

gcloud composer environments create ${COMPOSER_NAME} \
    --location=${COMPOSER_LOCATION} \
    --image-version=composer-1.8.1-airflow-1.10.3 \
    --disk-size=100GB \
    --python-version=3 \
    --node-count=3

gcloud composer environments update ${COMPOSER_NAME} \
    --location ${COMPOSER_LOCATION} \
    --update-pypi-packages-from-file=PyPi_req.txt