Python GAE:加载大量大文件时超出了软限制

Python GAE:加载大量大文件时超出了软限制,python,google-app-engine,Python,Google App Engine,我对GAE和python有一个问题: 我已经超过了我所在大学的一个调查工具,它可以完成一些任务——其中之一就是跟踪鼠标光标的移动 调查完成后,数据将提交给控制器,控制器将数据存储在blobstore中,因为如果超出配额,结果可能会略大于1MB 现在,我需要将它导出到一个excel文件中,我想使用XLWT。我试着通过一个任务队列来使用它,这个队列会被执行 在小数据集上,一切都很好。但在大约10-12个数据集之后,我达到了内存软限制。 我已经尝试运行垃圾收集任务等,以便清除内存 是否有可能将所有数据

我对GAE和python有一个问题:

我已经超过了我所在大学的一个调查工具,它可以完成一些任务——其中之一就是跟踪鼠标光标的移动

调查完成后,数据将提交给控制器,控制器将数据存储在blobstore中,因为如果超出配额,结果可能会略大于1MB

现在,我需要将它导出到一个excel文件中,我想使用XLWT。我试着通过一个任务队列来使用它,这个队列会被执行

在小数据集上,一切都很好。但在大约10-12个数据集之后,我达到了内存软限制。 我已经尝试运行垃圾收集任务等,以便清除内存

是否有可能将所有数据(约300*~1.5 MB)合并为excel文件

我已经打开了一个流在blobstore中写入excel文件,但错误仍然存在

提前谢谢

我建议你读一下这本书。另请参见本页。他们建议在工作表上调用flush_row_数据

无论如何,使用F1实例组合300(1.5Mb)个文件很可能是不可能的,因为内存为128MB,XLWT将临时数据保存在临时文件中,而GAE中的临时数据只是一个StringIO对象

考虑为此使用动态后端,并使用B4_1G实例

此外,是否有任何理由不生成CSV