Screen scraping 如何刮一个无限滚动的网页?

Screen scraping 如何刮一个无限滚动的网页?,screen-scraping,Screen Scraping,我在学院里有一个项目,我需要从中收集用户评论的数据 但是由于它有无限的滚动,我无法深入到底部你可以继续运行窗口。scrollBy(01000)在javascript中?您好,先生,我用的是R语言,但我不能用,所以我用的是python,但仍然没有完成一些调试步骤:您能手动滚动到列表的末尾吗(注释有时间结束?你能看第一页的评论吗?你能阅读第二页的评论吗?什么是“不工作”的意思?你的代码挂起,你得到的结果有限,还有别的吗?请展示您尝试了什么。我能够使用软件解决此问题。谢谢你的帮助。

我在学院里有一个项目,我需要从中收集用户评论的数据


但是由于它有无限的滚动,我无法深入到底部

你可以继续运行
窗口。scrollBy(01000)
在javascript中?您好,先生,我用的是R语言,但我不能用,所以我用的是python,但仍然没有完成一些调试步骤:您能手动滚动到列表的末尾吗(注释有时间结束?你能看第一页的评论吗?你能阅读第二页的评论吗?什么是“不工作”的意思?你的代码挂起,你得到的结果有限,还有别的吗?请展示您尝试了什么。我能够使用软件解决此问题。谢谢你的帮助。