Scrapy 碎片图像下载管道-图像过期

一个简单的问题。报废允许图像过期，以防止多次下载相同的图像。如果这些图像是在上一次运行时下载的，scrapy如何知道它已经下载了哪些图像？

您是在谈论图像内容吗？因为这样做要困难得多，或者仅仅是图像url，因为它可以是任何类型的请求或url。而且scrapy不会重复请求，您需要指定元参数

dont_filter

，以绕过该规则。