Python 2.7 scrapy 429错误和503错误

我使用的是我想要的数据框架。一些请求得到了服务，但在几次请求之后，我收到了状态代码503，有时是429

我使用了以下设置：

CONCURRENT_REQUESTS = 1
CONCURRENT_REQUESTS_PER_DOMAIN = 1
DOWNLOAD_DELAY = 5.0
AUTOTHROTTLE_START_DELAY = 2.0

我将下载延迟从1.0更改为5.0。如果我增加更多，就会影响我的需求。正确的设置是什么

---

我的旧版本是Scrapy==1.1.1，fake useragent==0.1.7，Twisted==16.3.0。

很可能服务器会在短时间内禁止您，所有防火墙都有规则禁止IP超过每个特定时间的特定请求数谢谢@mirhosein，但我如何处理这种情况。建议除外。似乎网站有非常严格的速率限制，你可以使用Tor来更改你的ip，这里有更多说明，你能给我网站地址吗？谢谢，但我使用的是Crawlera，因为他们为我旋转代理！，我还能再提高吗！克劳拉对我很管用