Python 如何在gae上处理大型文件

Python 如何在gae上处理大型文件,python,xml,google-app-engine,large-files,Python,Xml,Google App Engine,Large Files,我希望我的应用程序下载一个XML文件并每天处理它。XML文件以~100MB压缩文件的形式出现,解压缩时为~1GB。处理后的输出小于1MB 我注意到URL获取(和urllib)响应大小配额为32MB: 有解决办法吗?您需要使用我不需要存储XML文件,只需下载并处理它们即可。问题是urlfetch/urllib下载大小限制。

我希望我的应用程序下载一个XML文件并每天处理它。XML文件以~100MB压缩文件的形式出现,解压缩时为~1GB。处理后的输出小于1MB

我注意到URL获取(和urllib)响应大小配额为32MB:


有解决办法吗?

您需要使用

我不需要存储XML文件,只需下载并处理它们即可。问题是urlfetch/urllib下载大小限制。