使用Python、Requests和BeautifulSoup进行无限滚动

我已经成功地从我的国家的几个新闻网站上抓取了（python）文章，基本上是通过解析主页、获取HREF并访问它们来解析文章。但我只是撞到了墙上。由于无限滚动，我得到的元素数量非常有限。我做了很多研究，但是我找不到合适的资源来克服这个问题，当然，我很可能是做错了

我在devtools中看到，加载更多的url请求是一个json文件，但我不知道如何自动获取它以解析它。我想得到一些关于如何学习做这件事的快速指导。我希望我有点道理，这是我的基本代码：

source=requests.get（） html=BeautifulSoup（source.text，“lxml”）

这是我在ChromeDevTools中看到的一个示例请求url

---

这是否回答了您的问题？这将有所帮助，我将使用这些信息并通过selenium文档构建我的方法。谢谢这回答了你的问题吗？这将有所帮助，我将使用这些信息并通过selenium文档构建我的方法。谢谢