Python 3.x 如何基于algolia AJAX抓取网站？

我正在尝试通过scrapy抓取此网站上的列表：

然而，我被导航卡住了。在页面底部显示“下一页”的链接。但在我看来，他们通过JavaScrip查询调用外部站点（algolia）

---

通过scrapy使导航可爬行的最简单方法是什么？

页面中存在下一页链接。您可以使用

response.css（“[rel='next']”）：attr（“href”）

来获取它。这将为您提供分页的下一个链接。现在，您可以使用

response.follow（url=，callback=）

继续执行

GET

请求。嗨，Irkam，我已经尝试过了，但它不起作用…单击链接调用一个特殊的java脚本，然后重定向到新页面…知道如何处理吗？