Python urlopen加载网页需要很长时间

Python urlopen加载网页需要很长时间,python,web-scraping,Python,Web Scraping,我正在使用以下代码打开网页 cj_civil = cookielib.LWPCookieJar() opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj_civil)) 问题是opener.open函数加载网页大约需要20秒。但若我在浏览器中打开同一个站点,那个么加载速度会更快 我可以做些什么来更快地加载代码中的网页?我还使用了正确的标题值 urllib2是否有比urllib2更快并能自动处理cookie的替代方案 如果你发布

我正在使用以下代码打开网页

cj_civil = cookielib.LWPCookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj_civil))
问题是opener.open函数加载网页大约需要20秒。但若我在浏览器中打开同一个站点,那个么加载速度会更快

我可以做些什么来更快地加载代码中的网页?我还使用了正确的标题值


urllib2是否有比urllib2更快并能自动处理cookie的替代方案

如果你发布网站url,我想这会更容易帮助你,因为你的浏览器可能正在缓存数据。尝试在禁用缓存的情况下执行相同的基准测试。嘿,我使用了pycurl模块而不是urllib2,而且速度非常快。pycurl的参考ur l