让Scrapy从最后一个断点继续爬行

让Scrapy从最后一个断点继续爬行,scrapy,Scrapy,我使用scrapy来抓取网站,但坏事情发生了(断电等) 我想知道我怎样才能继续从坏掉的地方爬下去。我不想从种子重新开始。这可以通过将计划的请求持久化到磁盘来完成 scrapy crawl somespider -s JOBDIR=crawls/somespider-1 有关更多信息,请参阅。文档:“按Ctrl-C或发送信号”。所以它不会工作,如果(断电等),它只是为你暂停,我想。

我使用scrapy来抓取网站,但坏事情发生了(断电等)


我想知道我怎样才能继续从坏掉的地方爬下去。我不想从种子重新开始。

这可以通过将计划的请求持久化到磁盘来完成

scrapy crawl somespider -s JOBDIR=crawls/somespider-1
有关更多信息,请参阅。

文档:“按Ctrl-C或发送信号”。所以它不会工作,如果(断电等),它只是为你暂停,我想。