Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/google-app-engine/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何在Google App Engine上获取超过1MB的()数据?_Python_Google App Engine_Urlfetch - Fatal编程技术网

Python 如何在Google App Engine上获取超过1MB的()数据?

Python 如何在Google App Engine上获取超过1MB的()数据?,python,google-app-engine,urlfetch,Python,Google App Engine,Urlfetch,Google应用程序引擎限制对的响应。这方面有什么解决办法吗(可能改用付费版本) 我正在使用Python,如果可以提供一个很好的示例。不,每次URL获取不能超过1MB(即使启用了计费)。但是,您可能能够使用标头获取目标URL的部分内容,然后组合这些内容。这可能会更快,因为您可以同时获取每个1MB数据块(使用)。使用全新的数据块,您可以下载32MByte;请记住,您仍然有10秒的截止时间限制;-)。请求处理程序的截止时间最长可达60秒,任务队列和cron作业处理程序的截止时间最长可达10分钟 UR

Google应用程序引擎限制对的响应。这方面有什么解决办法吗(可能改用付费版本)


我正在使用Python,如果可以提供一个很好的示例。

不,每次URL获取不能超过1MB(即使启用了计费)。但是,您可能能够使用标头获取目标URL的部分内容,然后组合这些内容。这可能会更快,因为您可以同时获取每个1MB数据块(使用)。

使用全新的数据块,您可以下载32MByte;请记住,您仍然有10秒的截止时间限制;-)。请求处理程序的截止时间最长可达60秒,任务队列和cron作业处理程序的截止时间最长可达10分钟

URLFetch允许的响应大小已更改 已增加,最高可达32 MB。要求 大小仍然限制为1MB


+我的回答很好。你有关于Flickr、DropBox等各种公共服务对
内容范围的支持的任何信息吗?对不起,我指的是
范围
(不是
内容范围
)。是的,Flickr和DropBox都支持它。我相信很多其他人也会这样做。如何只获取标题以获得至少它的大小。我试图将
allow\u truncated=True
放在Dropbox中的一个非常大的文件上,但没有成功。对于较小的一个,我得到了1MB的块。好的,我通过
方法class='HEAD'
只得到了头,但是没有任何东西指示大小:(有没有其他方法可以设置所有范围?因为我需要预先知道总大小..对吗?服务器应该尽可能设置
内容长度
标题。如果您事先不知道大小,那么我想您仍然可以尝试获取1MB块,直到收到包含较少数据的响应(最大值为挂载(假定是因为您到达了内容的末尾)。