Python 一个接一个地运行多个蜘蛛
我正在使用Scrapy框架让蜘蛛在一些网页中爬行。基本上，我想要的是刮取网页并将其保存到数据库中。我有一个蜘蛛每个网页。但我很难立刻运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。如何才能做到这一点？scrapyd是解决方案吗？scrapyd确实是一个很好的方法，或者可以使用配置来限制并行spdier的数量，然后您将使用scrapyd rest api进行爬行，如：Python 一个接一个地运行多个蜘蛛,python,scrapy,scrapyd,Python,Scrapy,Scrapyd,我正在使用Scrapy框架让蜘蛛在一些网页中爬行。基本上，我想要的是刮取网页并将其保存到数据库中。我有一个蜘蛛每个网页。但我很难立刻运行这些蜘蛛，以至于一只蜘蛛在另一只蜘蛛完成爬行后才开始爬行。如何才能做到这一点？scrapyd是解决方案吗？scrapyd确实是一个很好的方法，或者可以使用配置来限制并行spdier的数量，然后您将使用scrapyd rest api进行爬行，如： $ curl http://localhost:6800/schedule.json -d project=mypr
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
我有两个蜘蛛：蜘蛛1和蜘蛛2。现在如何开始呢？但是“scrapy deploy”不起作用。说“用法=====scrapy deploy[options][[target]|-l |-l]deploy:error:Unknown target:default”，schedule.json文件在哪里？还是我必须创建一个@Guy GavrielyA浏览其余的scrapyd文档可能会很有用：