Web scraping 没有selenium，任何方法都可以在python中抓取无限滚动的web吗？

我想抓取像quora、pinterest等的网页。我发现所有的例子都使用selenium来模拟滚动动作，但是打开一个新的滚动窗口，抓取速度慢且效率低。对无限滚动页面进行爬行的方法是否更有效

如果网站使用Ajax框架传输数据，我的回答可以帮助您。

---

我试过你的方法，但在Quora里做不到。你能告诉我更多关于你在Quora的详细情况吗？它在Quora上工作，但首先你需要登录Quora。否则就不行了。