Python 2.7 从谷歌应用程序引擎上传文件到地面军事系统-32MB限制

下面的代码将从双击搜索下载数据并上传到谷歌云存储（在GAE中）。文件未完全上载，每个文件仅上载32MB。实际文件大小为4GB。是否有任何方法可以将较大的文件从AppEngine上传到Google云存储

上传至谷歌云存储：

def _writeFilesinGCS(filename, data):
  ### Initializing Google cloud Storage Object
  print "In _writeFilesinGCS function"
  tmp_filenames_to_clean_up = []
  write_retry_params = _gcs.RetryParams(backoff_factor=1.1)
  gcs_file=_gcs.open(filename, 'w', content_type='text/plain',retry_params=write_retry_params)
  gcs_file.write(data)
  gcs_file.close()
  tmp_filenames_to_clean_up.append(filename)

下载文件：

    def download_files(service, report_run_id, report_fragment,loaddate,file_name,cfg):
      """Generate and print sample report.

  Args:
    service: An authorized Doublelcicksearch service.
    report_id: The ID DS has assigned to a report.
    report_fragment: The 0-based index of the file fragment from the files array.
  """
  bucket_name = cfg._gcsbucket
  bucket = '/' + bucket_name
  filename = bucket + '/' + file_name + "_MMA_" + report_fragment + "_" + loaddate + ".csv"
  print "Enter into download_files", report_run_id
  request = service.reports().getFile(reportId=report_run_id, reportFragment=report_fragment)
  _writeFilesinGCS(filename,request.execute())
  dsbqfuns._dsbqinsert(report_run_id,cfg,file_name,1)

---

大文件意味着什么？由report\u fragment表示的文件片段有多大？（旁注：您的GCS写入也需要考虑到这一点，当前同一文件的片段会相互覆盖）双击搜索将文件拆分为多个文件，每个文件都会给出一个称为报告片段的数字。每个片段（文件大小）在2GB到4GB之间。您能否确定整个片段是否完整（即，

request.execute（）

的结果）进入你的应用程序？正常情况下，基于URL获取的出站请求响应限制为32M，请查看如何处理。我的大多数请求都是从facebook下载、双击搜索或双击活动管理器或Adwords等。大多数是http请求，文件大小肯定大于32MB。我需要运行整个脚本在App Engine中。我有没有办法下载整个数据并上传到Google云存储中。我不这么认为-下载整个片段数据需要2-4GB内存，而GAE实例没有。你需要能够将其分割成更小的片段。大文件意味着什么？文件fragm有多大由报告片段表示的ent？（旁注：您的GCS写入也需要考虑到这一点，当前同一文件的片段会相互覆盖）双击搜索将文件拆分为多个文件，每个文件都会给出一个称为报告片段的数字。每个片段（文件大小）介于2GB到4GB之间。您能否确定整个片段（即

请求的结果。execute（）

）进入你的应用程序？正常情况下，基于URL获取的出站请求响应限制为32M，请查看如何处理。我的大多数请求都是从facebook下载、双击搜索或双击活动管理器或Adwords等。大多数是http请求，文件大小肯定大于32MB。我需要运行整个脚本在App Engine中。我有没有办法下载整个数据并上传到Google云存储中。我不这么认为-下载整个片段数据需要2-4GB内存，而GAE实例没有。你需要能够将其分割成更小的片段。