Python WebCrawling urllib.error.urleror:<；urlopen错误名称解析暂时失败>；

我正在从web上抓取一些数据，由于我应该获得的数据量很大，我已经同时收到了500多个请求（通过

urllib.request.urlopen（url）

通过

多处理池

发出）

这里的问题是引发了以下错误：

urllib.error.URLEROR:urlopen error名称中的临时故障 决议

经过一些研究，我发现这个问题是由于当有太多的请求时连接无法关闭。但还没有找到任何解决办法

我应该将同时连接限制在某个安全范围内，还是更改

urllib

请求配置

发展环境：

• Ubuntu 16.04
• Python 3.6

尝试使用请求库。如文档中所述

会话对象允许您跨请求持久化某些参数。它还跨会话实例发出的所有请求持久化cookie，并将使用urllib3的连接池。因此，如果您向同一主机发出多个请求，则底层TCP连接将被重用，这将导致性能显著提高（请参阅HTTP持久连接）

也许这个关于高效网络抓取的另一个问题可以帮助你