将svg元素作为下一步按钮的Scrapy LinkedExtractor

我使用的爬行器递归跟踪链接，使用链接提取调用下一页，如：

rules = (Rule(LinkExtractor(
               allow=(),\
               restrict_xpaths=('//a[contains(.,"anextpage")]')),\
               callback='parse_method',\
               follow=True),
        )

我已经应用了这个策略来递归地抓取不同的网站，只要html标记中有文本，比如

，一切都正常

我现在正试图刮一个网站，它有一个

作为“下一步”按钮而不是简单的文本，我的LinkedExtractor规则似乎不再适用，爬行器在第一页之后停止

我试图查找svg元素，但这似乎没有触发提取：

restrict_xpaths=('//a[contains(.,name()=svg) and contains(@class,"nextpageclass")]'))

---

我有什么遗漏吗？

这很可能是因为该网站使用了javascript。您可能需要使用Splash来模拟单击以导航和返回预渲染的网站。这是一个很好的起点：

---

请参见，如果没有示例页面，您将不会得到太多帮助。