Python urllib访问html的速度比浏览器慢

Python urllib访问html的速度比浏览器慢,python,web-scraping,urllib,Python,Web Scraping,Urllib,下面的python脚本在我的PC上需要3秒钟才能加载twitter页面的源代码,这比检索其他网站(如youtube)的源代码要高得多。当我在浏览器中加载相同的twitter页面时,google chrome中的“网络”选项卡告诉我html在0.3秒内被检索 为什么urllib比我的浏览器慢得多 import urllib2 import time start=time.time() channel='pontifex' url="https://twitter.com/"+channel pa

下面的python脚本在我的PC上需要3秒钟才能加载twitter页面的源代码,这比检索其他网站(如youtube)的源代码要高得多。当我在浏览器中加载相同的twitter页面时,google chrome中的“网络”选项卡告诉我html在0.3秒内被检索

为什么urllib比我的浏览器慢得多

import urllib2
import time

start=time.time()
channel='pontifex'
url="https://twitter.com/"+channel
page = urllib2.urlopen(url).read()
print str(round(time.time()-start,0))+" secs total"

缓存就是答案,它通常由浏览器来完成,以减少频繁访问站点的加载时间。如果不是浏览器,那么像谷歌这样的搜索引擎也会缓存经常访问的网站,因此检索它们只需几毫秒

见此帖:

必须在此处发布,抱歉:。谢谢。这很有帮助。为了加快速度,urllib有没有办法访问我的浏览器访问的同一个缓存?此外,我仍然想知道为什么twitter会比我以前用urllib创建的所有其他网站慢得多。3秒是永恒的。@AlexisEggermont尝试使用urllib的更新版本。看,我不同意这一点,我一直在将Python的urllib get请求与其他语言进行比较,java、vba、c#、node.js,相比之下,性能非常糟糕,urllib肯定有问题。