Python 无法将大型文件上载到Google云存储
处理小文件时也可以。只有当我尝试上传大文件时,它才起作用。我正在使用Python客户端。该片段是:Python 无法将大型文件上载到Google云存储,python,google-cloud-platform,google-cloud-storage,Python,Google Cloud Platform,Google Cloud Storage,处理小文件时也可以。只有当我尝试上传大文件时,它才起作用。我正在使用Python客户端。该片段是: filename='my_csv.csv' storage_client = storage.Client() bucket_name = os.environ["GOOGLE_STORAGE_BUCKET"] bucket = storage_client.get_bucket(bucket_name) blob = bucket.blob("{}".format(filename)) blob
filename='my_csv.csv'
storage_client = storage.Client()
bucket_name = os.environ["GOOGLE_STORAGE_BUCKET"]
bucket = storage_client.get_bucket(bucket_name)
blob = bucket.blob("{}".format(filename))
blob.upload_from_filename(filename) # file size is 500 MB
作为回溯,我得到的唯一东西是“Killed”,我没有python解释器了
任何建议都受到高度赞赏
编辑:
在本地机器上工作正常。我的应用程序在Google容器引擎中运行,所以在芹菜任务中运行时会出现问题 尝试将文件分块上传。你可以找到样品。(搜索
请求。下一个\u chunk()
)按文件名上载\u试图在一个请求中上载整个文件
您可以使用Blob.chunk\u size
将上载分散到多个请求中,每个请求负责上载文件的一个“chunk”
例如:
my_blob.chunk\u size=1024*1024*10
尝试在应用程序运行时监视应用程序的内存使用情况,它可能使用过多并触发错误。您可能会在系统日志中找到相关信息。文档: