Javascript 如何使用python scrapy抓取动态网站？

我可以刮静态网站使用刮然而，这另一个网站，我试图刮有两个部分在其HTML即；“头部”和“车身超负荷”。我需要的信息是在身体负荷部分。我相信内容是在请求html后加载的，因此网站是动态的。使用scrapy是否可行？我还需要什么工具

看看吧，这是一个用于scrapy的呈现服务，可以让你抓取基于javascript的网站

您还可以创建自己的下载中间件，并使用Selenium和PhantomJS（）。这种技术的缺点是失去了scrapy提供的并发性

无论如何，我认为飞溅是最好的方法

---

希望这能有所帮助。

我可以使用带有scrapy_splash的代理吗？当然，文档中有，