Python 3.x Scrapy crawler在增加爬行器的并发性的同时给出DNS查找错误

我已经编写了一个爬虫程序，如果我使用默认设置scrapy，它可以很好地工作。我已经用10K个URL对它进行了测试，但是我有数百万个URL要刮取，而且我也希望这样做更快，所以我将默认的并发请求更改为300个。对于最初的100个URL（它包含超过测试的10K个URL），所有这些都可以正常工作，但突然，其余的URL开始出现DNS查找错误。 我不确定是什么导致了这个问题，URL似乎找到了，它使用默认设置工作

我的爬虫程序在windows 10机器上运行，该机器有2个内核和4 GB内存。

请参阅Scrapy文档页面的一节。

请参阅Scrapy文档页面的一节