Python 请暂停/继续作业

Python 请暂停/继续作业,python,scrapy,scrapyd,Python,Scrapy,Scrapyd,看起来没有合法的方法可以暂停/继续使用Scrapyd进行爬行,就像使用Scrapy本身一样(Scrapy crawl spider-s JOBDIR=JOBDIR/spider-1)。 我找到的唯一解决方案是: 但我不明白这个想法 那么,是否可以暂停/继续使用Scrapyd的作业 感谢您抽出时间我们的想法如下: 当您从cmd运行爬行器时,可以粘贴额外的参数,例如:scrapy crawl myspider-s JOBDIR=crawls/somespider-1 当您在endpointsche

看起来没有合法的方法可以暂停/继续使用Scrapyd进行爬行,就像使用Scrapy本身一样(Scrapy crawl spider-s JOBDIR=JOBDIR/spider-1)。 我找到的唯一解决方案是:

但我不明白这个想法

那么,是否可以暂停/继续使用Scrapyd的作业


感谢您抽出时间

我们的想法如下:

当您从
cmd
运行爬行器时,可以粘贴额外的参数,例如:
scrapy crawl myspider-s JOBDIR=crawls/somespider-1

当您在endpoint
schedule.json中使用
Scrapyd
时,还可以粘贴一些设置。如果您使用的是
scrapyd客户端
,则如下所示:

s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)

之后,您可以取消作业。下次,当您将运行相同的作业时,请恢复以前的工作

对不起,我不知道在何处写入此选项。如果我运行crawler时使用:(curl-d project=my parsers-d spider=my_spider)我应该将代码粘贴到哪里?在这种情况下,您可以这样调用:
curl localhost:6800/schedule.json-d project=my parsers-d spider=my_spider-d settings=JOBDIR=crawls/somespider-1
,不幸的是它也不起作用。当我用:
curl localhost:6800/schedule.json-d project=my parsers-d spider=my_spider-d settings=JOBDIR=crawls/somespider-1 jobid=3123asds5f3441asdfesw324
重新开始解析时,只有一个日志是相同的