Javascript 使用cheerio和nodejs刮取数据_Javascript_Node.js

Javascript 使用cheerio和nodejs刮取数据

javascript node.js

Javascript 使用cheerio和nodejs刮取数据,javascript,node.js,Javascript,Node.js,我使用cheerio模块从网站上抓取产品列表。但有问题，网站使用“无限滚动”加载数据（向下滚动时数据加载更多）。所以，cheerio不能得到所有的产品有人能给我一个解决这个问题的建议吗？谢谢。您可以在滚动页面时查看页面执行的查询类型。然后自己点击这些查询并获取数据或者，您可以尝试使用类似“通过幻影触发滚动”和“刮擦”之类的方法我自己也会选择第一个选项。只需从他们用来填充内容的api中获取数据；滚动时查看devtools中的网络选项卡，注意新添加的URL。然后只需调用url直接获取json，

我使用cheerio模块从网站上抓取产品列表。但有问题，网站使用“无限滚动”加载数据（向下滚动时数据加载更多）。所以，cheerio不能得到所有的产品

有人能给我一个解决这个问题的建议吗？谢谢。

您可以在滚动页面时查看页面执行的查询类型。然后自己点击这些查询并获取数据

或者，您可以尝试使用类似“通过幻影触发滚动”和“刮擦”之类的方法

我自己也会选择第一个选项。

只需从他们用来填充内容的api中获取数据；滚动时查看devtools中的网络选项卡，注意新添加的URL。然后只需调用url直接获取json，而不是试图刮取HTML