Python Scrapy：网站正在减缓我的请求

我用刮痧纸写了一只蜘蛛。每次我试图抓取一个特定的网站，蜘蛛在一开始就运行得很好。但当我下到500-600请求时，蜘蛛开始缓慢爬行

我已经检查了内存和cpu设置，但这不是问题所在。我很确定这个网站正在减缓我的请求

---

如何调整scrapy以快速且一致地进行刮取？

如果网站减慢了您的请求速度，可能最好对您发送的请求更加小心。 您可以尝试以下几点：

• 将“AUTOTHROTTLE_ENABLED”设置为True：当scrapy看到服务器响应缓慢时，它将调整爬行速度
• 自己限制并发请求的数量（通过设置每个域的并发请求），并将下载延迟更改为在请求之间稍等
• 使用代理：目标网站很可能基于IP限制您。使用代理将克服这一问题，但在目标服务器因您的请求而过载的情况下，这并没有帮助