Caching 删除碎片缓存?

Caching 删除碎片缓存?,caching,scrapy,Caching,Scrapy,我正试图通过删除.scrapy文件夹来删除缓存。通常它可以工作,但现在当我运行我的spider时,它总是得到缓存的响应。我不知道它们是从哪里来的,因为文件夹被删除了。我已经尝试更改蜘蛛名称/文件夹名称/创建新项目并在其中粘贴代码等 更令人费解的是,该工具向我实时显示了从空文件夹中打开的缓存文件,而没有先创建。正在打开和关闭缓存文件,但我在文件夹中看不到它们。我以前没有在那个文件夹中看到它们,运行spider之后也没有在那里看到它们。如果未隐藏这些文件,则选中“显示隐藏文件”选项 我唯一能想象的是

我正试图通过删除.scrapy文件夹来删除缓存。通常它可以工作,但现在当我运行我的spider时,它总是得到缓存的响应。我不知道它们是从哪里来的,因为文件夹被删除了。我已经尝试更改蜘蛛名称/文件夹名称/创建新项目并在其中粘贴代码等

更令人费解的是,该工具向我实时显示了从空文件夹中打开的缓存文件,而没有先创建。正在打开和关闭缓存文件,但我在文件夹中看不到它们。我以前没有在那个文件夹中看到它们,运行spider之后也没有在那里看到它们。如果未隐藏这些文件,则选中“显示隐藏文件”选项

我唯一能想象的是,Scrapy以某种方式将它们保存在数据库中,并将它们显示为从缓存文件夹中获取的。但是在这种情况下,为什么process manager不显示正在创建和删除的文件?经过3个小时的重命名和粘贴在新文件夹中的项目,我在这里疯了,缓存仍然挂在它

更新:我在process monitor中应用了一个过滤器,我可以看到正在创建的文件,但看不到它们正在被删除(我使用SetDispositionInformationFiles查看已删除的文件)。此外,文件夹的大小非常小(20KB),所以除非windows报告错误,否则无法从那里获取我的巨大缓存


将Process Manager和不可见缓存文件放在一边。。。还有什么方法可以让我知道Scrapy从何处获取缓存?(我不能只是禁用缓存,我需要缓存功能,我只需要丢弃旧的缓存)

结果表明,这只是因为我没有将“不过滤”设置为True,而是一次又一次地使用相同的链接而不是不同的链接,所以它没有获得5K链接,而是获得了5K次相同的链接。 所以,没有什么古怪的神秘行为,只是我的粗心大意