Python 无法将大型文件上载到Google云存储

Python 无法将大型文件上载到Google云存储,python,google-cloud-platform,google-cloud-storage,Python,Google Cloud Platform,Google Cloud Storage,处理小文件时也可以。只有当我尝试上传大文件时,它才起作用。我正在使用Python客户端。该片段是: filename='my_csv.csv' storage_client = storage.Client() bucket_name = os.environ["GOOGLE_STORAGE_BUCKET"] bucket = storage_client.get_bucket(bucket_name) blob = bucket.blob("{}".format(filename)) blob

处理小文件时也可以。只有当我尝试上传大文件时,它才起作用。我正在使用Python客户端。该片段是:

filename='my_csv.csv'
storage_client = storage.Client()
bucket_name = os.environ["GOOGLE_STORAGE_BUCKET"]
bucket = storage_client.get_bucket(bucket_name)
blob = bucket.blob("{}".format(filename))
blob.upload_from_filename(filename)  # file size is 500 MB
作为回溯,我得到的唯一东西是“Killed”,我没有python解释器了

任何建议都受到高度赞赏

编辑:
在本地机器上工作正常。我的应用程序在Google容器引擎中运行,所以在芹菜任务中运行时会出现问题

尝试将文件分块上传。你可以找到样品。(搜索
请求。下一个\u chunk()

按文件名上载\u试图在一个请求中上载整个文件

您可以使用
Blob.chunk\u size
将上载分散到多个请求中,每个请求负责上载文件的一个“chunk”

例如:


my_blob.chunk\u size=1024*1024*10

尝试在应用程序运行时监视应用程序的内存使用情况,它可能使用过多并触发错误。您可能会在系统日志中找到相关信息。文档: