响应前的Python urllib2请求

响应前的Python urllib2请求,python,Python,我正试图用python编写一个快速爬虫程序,但我不想用线程。 我读过一篇文章说Scrapy是单线程的,可以在响应返回之前发出请求。 我想知道是否有任何示例代码可以对urllib或urllib2执行相同的操作,并在响应返回之前发出新请求 提前谢谢。刮皮很好,但如果您正在寻找替代品,请查看。它基于绿色线程(又称协同程序)。他们甚至有一个简单的网络爬虫示例-Scrapy是开源的,为什么不看看呢?也就是说,我很确定它是线程化的,因为它使用了twisted,它大量使用线程。是的,我同意,Scrapy很棒,

我正试图用python编写一个快速爬虫程序,但我不想用线程。 我读过一篇文章说Scrapy是单线程的,可以在响应返回之前发出请求。 我想知道是否有任何示例代码可以对urllib或urllib2执行相同的操作,并在响应返回之前发出新请求


提前谢谢。

刮皮很好,但如果您正在寻找替代品,请查看。它基于
绿色线程
(又称协同程序)。他们甚至有一个简单的网络爬虫示例-

Scrapy是开源的,为什么不看看呢?也就是说,我很确定它是线程化的,因为它使用了twisted,它大量使用线程。是的,我同意,Scrapy很棒,它有很多内置功能,比如请求和响应。我只是想知道如何进入请求和响应,比如5个请求,不要等到第一个响应返回发送第二个请求。你已经回答了-线程。谢谢你,spinlok,我会看看Eventlet。