python中使用不同代理请求url

python中使用不同代理请求url,python,proxy,web-crawler,Python,Proxy,Web Crawler,我正在尝试检索一些谷歌搜索结果和缓存的页面。实际上我现在有两个问题。我通常可以下载前十个结果,但无法让它工作到“下一个”10页。我尝试使用正则表达式来查找页面中的下一个控件,然后从那里开始,我无法让它工作。 但我的另一个问题,更重要的是,我的ip地址被谷歌屏蔽了,我无法再查看缓存的结果。因此,我想到的一个解决方案是使用代理来发出url请求,并在一定时间间隔内更新此代理。但我不知道如何做这份工作。我试着在网上搜索解决方案,但没能找到一个好的。 如果你能给我一些建议,我将非常高兴。?或者可能?我正在

我正在尝试检索一些谷歌搜索结果和缓存的页面。实际上我现在有两个问题。我通常可以下载前十个结果,但无法让它工作到“下一个”10页。我尝试使用正则表达式来查找页面中的下一个控件,然后从那里开始,我无法让它工作。 但我的另一个问题,更重要的是,我的ip地址被谷歌屏蔽了,我无法再查看缓存的结果。因此,我想到的一个解决方案是使用代理来发出url请求,并在一定时间间隔内更新此代理。但我不知道如何做这份工作。我试着在网上搜索解决方案,但没能找到一个好的。
如果你能给我一些建议,我将非常高兴。

?或者可能?

我正在使用req=urllib2.request(url,none,headers)构建url请求,并使用urllib2.urlopen(req.open())获取页面。在示例中,它使用了一个开瓶器。是否有一种方法可以定义每个url请求都使用代理。也许这听起来很简单,但我对python编程了解不多。