Javascript 如何使用R刮取无限加载页

Javascript 如何使用R刮取无限加载页,javascript,r,web-scraping,Javascript,R,Web Scraping,我一直在为我的小研究刮一些新闻媒体页面。我遇到过这样的情况,当你滚动时文章会被加载。我尝试在F12检查器中监视响应,并发现(使用XHR文件)页面确实会在一定数量的文章之后单独加载 我甚至可以在inspector中看到它们的URL,一个屏幕截图来显示我的意思 但是,我不知道如何将此信息加载到R中。我一直在使用Rvest,但不确定它在这里是否有用,也许是HTTR 谢谢大家! 您可以在此端点通过原始json进行分页: http://kolumbus-api.lrytas.lt/query/?coun

我一直在为我的小研究刮一些新闻媒体页面。我遇到过这样的情况,当你滚动时文章会被加载。我尝试在
F12
检查器中监视响应,并发现(使用
XHR
文件)页面确实会在一定数量的文章之后单独加载

我甚至可以在inspector中看到它们的URL,一个屏幕截图来显示我的意思

但是,我不知道如何将此信息加载到
R
中。我一直在使用
Rvest
,但不确定它在这里是否有用,也许是HTTR


谢谢大家!

您可以在此端点通过原始json进行分页:

http://kolumbus-api.lrytas.lt/query/?count=&tag_slugs=politika&type=Video,Articolo&order=pubfromdate-&ret_fields=props.type__AS__type,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)][%27hd-alternate-href%27]__AS__thumb,props.categories[0].name__AS__category,props.href__AS__href,props.title__AS__title,props.commentCount__AS__commentCount,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)].otheralternate.1280x720.href__AS__imgxl,props.media[indexof(x.type=%27media%27%20for%20x%20in%20props.media)].otheralternate.300x200.href__AS__imgm,props.media__AS__media_json&page=1

只需在页面的最后更改页面参数:
page=1
,直到到达末尾

我建议您使用模仿网络浏览器活动的RSelenium