在Scrapy中的项目中使用多个spider
我想知道是否有可能在同一个项目中同时使用多个spider。实际上我需要两只蜘蛛。第一个蜘蛛收集第二个蜘蛛应该刮的链接。他们都在同一个网站上工作,所以域名是相似的。有可能吗?如果是,你能给我举个例子吗?在Scrapy中的项目中使用多个spider,scrapy,Scrapy,我想知道是否有可能在同一个项目中同时使用多个spider。实际上我需要两只蜘蛛。第一个蜘蛛收集第二个蜘蛛应该刮的链接。他们都在同一个网站上工作,所以域名是相似的。有可能吗?如果是,你能给我举个例子吗? 谢谢也许这就是你想要的: def parse(self, response): # parse the links (aka your first spider) for link in hxs('//XPATH'): yield Request(link.extr
谢谢也许这就是你想要的:
def parse(self, response):
# parse the links (aka your first spider)
for link in hxs('//XPATH'):
yield Request(link.extract(), callback=self.parse_link)
def parse_link(self, response):
# continue parsing (aka your second spider)
希望这对您有所帮助:)这实际上并没有回答“多蜘蛛”的问题。这只是一个常见的黑客,它取代了多个spider的使用。如果有更完整的答案就好了。