Scrapy 在完成Lua脚本之前启动获取html

我有一个具有强大ajax分页功能的网页（只用于下一页的按钮）。 要转到第5页，脚本应按按钮Next5次。 但在脚本点击后，当前页面的数据将丢失

可以将html内容从Lua脚本返回到scrapy，然后继续运行脚本

---

现在我用坏方法。我在Lua脚本中合并每个页面的html代码，在最后一页之后返回它。但是我认为这不好。

你能给出你想要爬网的URL吗？也许手动发送每个页面的请求比“单击”页面更容易。但问题是那个网站只允许从沙特阿拉伯访问。是的，我不能访问它。我仍然建议手动生成请求，这在IMO中是干净和简单的。通过这种方式，您可以从一个页面抓取数据，向下一个页面发出请求，依此类推。看它有真正大的存储请求。它的要求比firebug所能表现出来的还要多，它剥去了这个。