Scrapy 重复过滤和下载延迟

我想知道，当设置中指定了

下载延迟

时，Scrapy是如何处理重复项的。例如，如果我添加了5秒的

下载延迟

，Scrapy将在每个请求之间等待5秒。但是，如果Scrapy面临一个应被忽略的重复请求，Scrapy会在下一个请求之前等待5秒吗？

是Scrapy会在下一个请求之前等待5秒。如果您设置了duplicate_filter=True，那么它会在调用下一个请求后等待5秒钟。无论req是否重复，如果是重复过滤器，请始终等待下一个5秒钟