Scrapy 如何停止爬行并根据情况关闭蜘蛛?

Scrapy 如何停止爬行并根据情况关闭蜘蛛?,scrapy,Scrapy,我有一个蜘蛛,它从分页的网页上获取基于特定日期范围的最新url。当它得到所有最新的网址,我的蜘蛛必须关闭如何关闭蜘蛛 我提到了一个问题: 但提出一个例外关闭蜘蛛是不高兴的我 有没有其他方法可以达到同样的效果?您应该使用 关闭十字轴的条件可以通过以下设置进行配置: CLOSESPIDER\u TIMEOUTCLOSESPIDER\u ITEMCOUNTCLOSESPIDER\u PAGECOUNTCLOSESPIDER\u ERRORCOUNT是否可以将自定义标志添加到此列表中?如果要扩展此功能,

我有一个蜘蛛,它从分页的网页上获取基于特定日期范围的最新url。当它得到所有最新的网址,我的蜘蛛必须关闭
如何关闭蜘蛛
我提到了一个问题:
但提出一个例外关闭蜘蛛是不高兴的我
有没有其他方法可以达到同样的效果?

您应该使用

关闭十字轴的条件可以通过以下设置进行配置:


CLOSESPIDER\u TIMEOUT
CLOSESPIDER\u ITEMCOUNT
CLOSESPIDER\u PAGECOUNT
CLOSESPIDER\u ERRORCOUNT

是否可以将自定义标志添加到此列表中?如果要扩展此功能,可以轻松创建自己的扩展或扩展CLOSESPIDER。谢谢@dataisbeautiful sounds是比引发异常更好的解决方案。我一定要试试。