Google cloud storage 将pip.conf从bucket复制到Cloud Composer气流环境时出错_Google Cloud Storage_Google Cloud Composer

Google cloud storage 将pip.conf从bucket复制到Cloud Composer气流环境时出错

google-cloud-storage

Google cloud storage 将pip.conf从bucket复制到Cloud Composer气流环境时出错,google-cloud-storage,google-cloud-composer,Google Cloud Storage,Google Cloud Composer,与此类似，我正在尝试从一个私有的PyPI repo安装一个Python包，这样我们的googlecloudcomposer实例就可以使用它我已经跟进了，但仍然不知道我的包裹： No module named 'foopackage' 我在任何地方的任何日志中都找不到对我的pip.conf的任何引用，因此我不确定该文件是否位于正确的位置，或者是否包含正确的内容如何继续调试此问题 Cloud Composer环境日志显示从bucket复制pip.conf时出现问题，但不提供任何其他详细信息：

与此类似，我正在尝试从一个私有的PyPI repo安装一个Python包，这样我们的googlecloudcomposer实例就可以使用它

我已经跟进了，但仍然不知道我的包裹：

No module named 'foopackage'

我在任何地方的任何日志中都找不到对我的

pip.conf

的任何引用，因此我不确定该文件是否位于正确的位置，或者是否包含正确的内容

如何继续调试此问题

Cloud Composer环境日志显示从bucket复制

pip.conf

时出现问题，但不提供任何其他详细信息：

{
 insertId: "16qa4c8g540zxs3"  
 logName: "projects/{my-env}/logs/composer-agent"  
 receiveTimestamp: "2020-02-06T15:59:03.164564368Z"  
 
resource: {…}  
 severity: "ERROR"  
 textPayload: "Copying gs://{my-bucket}/config/pip/pip.conf...
"  
 timestamp: "2020-02-06T15:59:00.857642186Z"  
}

我最初认为这可能是权限问题，但该文件似乎与此存储桶中的其他文件具有相同的权限集

我在哪里可以获得复制该文件时出错的更详细信息

更新

我正在使用

composer-1.7.2-aiffort-1.10.2

更新

my Composer环境的服务帐户已具有

project.editor

角色。

这表明用于web服务器的Docker映像无法生成。要查找根本原因，请在project中查看云构建日志

原因是操作失败或耗时较长，在编写器后端超时。在某些情况下，这些错误会在后端持续存在，从而阻止将来的尝试。您可以尝试重新启用API：

我想到的第一个解决方案是在cloud shell中运行以下命令：

gcloud services disable composer.googleapis.com
gcloud services enable composer.googleapis.com

启用API后，请像往常一样更新Composer环境

安装软件包时，Composer环境将为Airflow workers和scheduler重新创建Docker容器，然后在GKE集群中执行滚动更新以更新workers以保持workers可用。您可以检查

Kubernetes Engine>工作负载

，查看您的环境是否因为等待调度程序和工作程序重新联机而超时

当Composer environment正在使用自定义服务帐户并且没有使用云构建的

IAM

访问权限时，构建将立即失败，因此请检查它。您可以通过转到

cloudbuild>History

来诊断这些问题，当您看到没有日志的构建时，这意味着构建甚至在尝试构建容器之前就失败了

当您的包实现绑定时，如果系统上不存在库，它将在运行时失败。这意味着它与Cloud Composer不兼容，因为当前不支持将共享库引入构建环境

另一件事，确保你的项目是以正确的方式进行的。

我希望您能发现上述信息有用。

这表明用于web服务器的Docker映像构建失败。要查找根本原因，请在project中查看云构建日志