Python 爬行蜘蛛不'；不要进入下一页

我正在删除所有产品的详细信息。我的规则抄袭如下。我只从第一页获得数据，它不会进入下一页

rules = (Rule(LinkExtractor(
            restrict_xpaths='//*[@id="canada"]/div[4]/div[2]/div[3]/div[3]/div[2]/ul/li[3]/a',), 
            callback = 'parse',
            follow =True),)

---

有人能帮我吗？

使用爬行器，它会自动爬行到其他页面，否则， Spider，您需要手动传递其他链接

 class Scrapy1Spider(CrawlSpider):

而不是

 class Scrapy1Spider(scrapy.Spider):

---

请参阅：

使用下面问题中提到的爬行器，我认为我的代码完全遵循上面链接中的爬行器。但不起作用我用爬行蜘蛛代替蜘蛛。restrict_xpath是下一步按钮的xpath。但它只抓取了第一页。检查其他链接是否是允许的_域变量的一部分。为什么不在LinkExtractor中添加allow（）。问题已解决。刮取第一页时出现产品错误。