使用scrapy抓取基于AngularJS的网站

我可以抓取一些页面，但一些页面需要时间加载，因为DOM没有完全呈现，所以我无法抓取它。有人能解决这个问题吗

---

提前感谢

您可以将selenium等web驱动程序与PhantomJS或Firefox等无头浏览器配合使用。单独使用PhantomJS，或者使用大量其他可用选项之一：CasperJS、SlimerJS等

您可以将selenium等web驱动程序与PhantomJS或Firefox等无头浏览器配合使用。单独使用PhantomJS，或者使用大量其他可用选项之一：CasperJS、SlimerJS等

除了使用Selenium，您还可以使用Firefox的Firebug插件或Chrome开发者工具来观察AngularJS应用程序在后台执行的后台请求，然后直接模拟这些请求

---

虽然这需要更多的工作，但scraper的速度要快得多，因为它不必等待页面呈现。

作为使用Selenium的替代方法，您可以使用Firefox的Firebug插件或Chrome开发者工具来观察AngularJS应用程序在后台执行的后台请求，然后直接模拟这些请求

虽然这需要更多的工作，但刮板速度要快得多，因为它不必等待页面呈现。

我建议。这是一个为scrapy提供的渲染服务。它得到了scrapinghub的支持，scrapy背后的人。

我推荐。这是一个为scrapy提供的渲染服务。它是由scrapinghub支持的，scrapy背后的人