Scrapy 导致内存泄漏的请求对象

Scrapy 导致内存泄漏的请求对象,scrapy,Scrapy,只是一个简单的问题。我面临着scrapy使用太多内存的问题。文档显示了一个HtmlResponse对象持续时间与Request对象相同的示例,并使用此参数得出结论,即HtmlResponse对象导致内存泄漏。我的问题是,请求对象怎么样?它们不应该持续那么久吗 以下是我的prefs()输出: 蜘蛛一号:353年前 请求46544最早:338秒前 HtmlResponse 9最早:3秒前 如果您在新请求的元中传递对请求的引用,则引用的请求将绑定到新请求的生命周期。所以是的,Request对象可以存

只是一个简单的问题。我面临着scrapy使用太多内存的问题。文档显示了一个HtmlResponse对象持续时间与Request对象相同的示例,并使用此参数得出结论,即HtmlResponse对象导致内存泄漏。我的问题是,请求对象怎么样?它们不应该持续那么久吗

以下是我的prefs()输出:

蜘蛛一号:353年前
请求46544最早:338秒前
HtmlResponse 9最早:3秒前

如果您在新
请求的
中传递对
请求的引用
,则引用的
请求
将绑定到新
请求
的生命周期。所以是的,
Request
对象可以存活很长时间。