同时使用Python从多个网站下载图像

同时使用Python从多个网站下载图像,python,curl,concurrency,download,urllib2,Python,Curl,Concurrency,Download,Urllib2,我正在尝试通过internet使用Python同时下载多个图像,我已经查看了几个选项,但没有一个看起来令人满意 我考虑过pyCurl,但并不真正理解示例代码,对于这样一个简单的任务来说,这似乎有点过头了。 urlgrabber似乎是一个不错的选择,但文档中说批量下载功能仍在开发中。 我在urllib2的文档中找不到任何内容 是否有一个实际可行且更易于实施的选项?谢谢。这并不奇怪,但是您可以使用urllib.urlretrieve,以及运行它的线程或进程池 因为它们正在等待网络IO,所以您可以让多

我正在尝试通过internet使用Python同时下载多个图像,我已经查看了几个选项,但没有一个看起来令人满意

我考虑过pyCurl,但并不真正理解示例代码,对于这样一个简单的任务来说,这似乎有点过头了。 urlgrabber似乎是一个不错的选择,但文档中说批量下载功能仍在开发中。 我在urllib2的文档中找不到任何内容


是否有一个实际可行且更易于实施的选项?谢谢。

这并不奇怪,但是您可以使用
urllib.urlretrieve
,以及运行它的线程或进程池

因为它们正在等待网络IO,所以您可以让多个线程同时运行—将URL和目标文件名粘贴在
队列中。队列
,并让每个线程将其吸收

如果使用多处理,则更容易-只需创建一个
进程池
,并使用函数和参数iterable调用
mypool.map
。标准库中没有线程池,但如果需要避免启动单独的进程,可以使用第三方模块。

为什么不使用?