Python 请暂停/继续作业
看起来没有合法的方法可以暂停/继续使用Scrapyd进行爬行,就像使用Scrapy本身一样(Scrapy crawl spider-s JOBDIR=JOBDIR/spider-1)。 我找到的唯一解决方案是: 但我不明白这个想法 那么,是否可以暂停/继续使用Scrapyd的作业Python 请暂停/继续作业,python,scrapy,scrapyd,Python,Scrapy,Scrapyd,看起来没有合法的方法可以暂停/继续使用Scrapyd进行爬行,就像使用Scrapy本身一样(Scrapy crawl spider-s JOBDIR=JOBDIR/spider-1)。 我找到的唯一解决方案是: 但我不明白这个想法 那么,是否可以暂停/继续使用Scrapyd的作业 感谢您抽出时间我们的想法如下: 当您从cmd运行爬行器时,可以粘贴额外的参数,例如:scrapy crawl myspider-s JOBDIR=crawls/somespider-1 当您在endpointsche
感谢您抽出时间我们的想法如下: 当您从
cmd
运行爬行器时,可以粘贴额外的参数,例如:scrapy crawl myspider-s JOBDIR=crawls/somespider-1
当您在endpointschedule.json中使用Scrapyd
时,还可以粘贴一些设置。如果您使用的是scrapyd客户端
,则如下所示:
s = {'JOBDIR': 'crawls/somespider-1'}
job = api.schedule(project_name, spider_name, settings=s)
之后,您可以取消作业。下次,当您将运行相同的作业时,请恢复以前的工作对不起,我不知道在何处写入此选项。如果我运行crawler时使用:(curl-d project=my parsers-d spider=my_spider)我应该将代码粘贴到哪里?在这种情况下,您可以这样调用:curl localhost:6800/schedule.json-d project=my parsers-d spider=my_spider-d settings=JOBDIR=crawls/somespider-1
,不幸的是它也不起作用。当我用:curl localhost:6800/schedule.json-d project=my parsers-d spider=my_spider-d settings=JOBDIR=crawls/somespider-1 jobid=3123asds5f3441asdfesw324
重新开始解析时,只有一个日志是相同的