Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/301.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用代理从python网页下载源代码的最快方法是什么?_Python_Html Parsing_Web Scraping_Urllib2_Scraper - Fatal编程技术网

使用代理从python网页下载源代码的最快方法是什么?

使用代理从python网页下载源代码的最快方法是什么?,python,html-parsing,web-scraping,urllib2,scraper,Python,Html Parsing,Web Scraping,Urllib2,Scraper,我已经在使用urllib2来使用代理获取页面,但是它花费的时间太长了,而且我知道使用代理需要更长的时间,但是如果我在firefox或ie中测试代理,则仍然需要花费太长的时间 谢谢。要更快地下载页面,无论是否使用代理,都需要同时下载。 试试gevent库。 有一个concurent download的例子现代web浏览器使用HTTP管道,发送多个请求以确保更快的加载时间。您还可以尝试使用多个线程并行执行刮削。不过,我看不出与代理有任何关系。

我已经在使用urllib2来使用代理获取页面,但是它花费的时间太长了,而且我知道使用代理需要更长的时间,但是如果我在firefox或ie中测试代理,则仍然需要花费太长的时间


谢谢。

要更快地下载页面,无论是否使用代理,都需要同时下载。 试试gevent库。
有一个concurent download的例子

现代web浏览器使用HTTP管道,发送多个请求以确保更快的加载时间。您还可以尝试使用多个线程并行执行刮削。不过,我看不出与代理有任何关系。