使用代理从python网页下载源代码的最快方法是什么?
我已经在使用urllib2来使用代理获取页面,但是它花费的时间太长了,而且我知道使用代理需要更长的时间,但是如果我在firefox或ie中测试代理,则仍然需要花费太长的时间使用代理从python网页下载源代码的最快方法是什么?,python,html-parsing,web-scraping,urllib2,scraper,Python,Html Parsing,Web Scraping,Urllib2,Scraper,我已经在使用urllib2来使用代理获取页面,但是它花费的时间太长了,而且我知道使用代理需要更长的时间,但是如果我在firefox或ie中测试代理,则仍然需要花费太长的时间 谢谢。要更快地下载页面,无论是否使用代理,都需要同时下载。 试试gevent库。 有一个concurent download的例子现代web浏览器使用HTTP管道,发送多个请求以确保更快的加载时间。您还可以尝试使用多个线程并行执行刮削。不过,我看不出与代理有任何关系。
谢谢。要更快地下载页面,无论是否使用代理,都需要同时下载。 试试gevent库。
有一个concurent download的例子现代web浏览器使用HTTP管道,发送多个请求以确保更快的加载时间。您还可以尝试使用多个线程并行执行刮削。不过,我看不出与代理有任何关系。