Css 使用rvest在Twitter上抓取用户视频

Css 使用rvest在Twitter上抓取用户视频,css,r,twitter,web-scraping,rvest,Css,R,Twitter,Web Scraping,Rvest,我正在使用rvest来刮取web中的一些web静态元素。然而,我无法抓取动态内容。例如,如何在下面的示例中获取观众数量(44K) 我试过这个: library(rvest) video_tweet = html("https://twitter.com/estrellagalicia/status/993432910584659968") video_tweet %>% html_nodes("#permalink-overlay #permalink-overlay-dialog

我正在使用
rvest
刮取web中的一些web静态元素。然而,我无法抓取动态内容。例如,如何在下面的示例中获取观众数量(44K)

我试过这个:

library(rvest)
video_tweet = html("https://twitter.com/estrellagalicia/status/993432910584659968")
video_tweet %>% 
  html_nodes("#permalink-overlay #permalink-overlay-dialog div #permalink-overlay-body div div div div div div div div div div div div span div div div div span span") %>% as.character()

你需要使用Rselenium,你应该为它选择合适的css。这应该可以:

library(RSelenium)
library(rvest)
rmDr <- rsDriver(browser = "chrome")
myclient <- rmDr$client
video_tweet = "https://twitter.com/estrellagalicia/status/993432910584659968"

myclient$navigate(video_tweet)

mypagesource <- myclient$getPageSource()
read_html(mypagesource[[1]]) %>% 
    html_nodes("#permalink-overlay-dialog > div.PermalinkOverlay-content > div > div > div.permalink.light-inline-actions.stream-uncapped.has-replies.original-permalink-page > div.permalink-inner.permalink-tweet-container > div > div.js-tweet-details-fixer.tweet-details-fixer > div.card2.js-media-container.has-autoplayable-media > div.PlayableMedia.LiveBroadcastCard-playerContainer.LiveBroadcastCard--supportsLandscapePresentation.watched.playable-media-loaded > div > div > div > div:nth-child(2) > div.rn-1oszu61.rn-1efd50x.rn-14skgim.rn-rull8r.rn-mm0ijv.rn-13yce4e.rn-fnigne.rn-ndvcnb.rn-gxnn5r.rn-1nlw0im.rn-deolkf.rn-6koalj.rn-1pxmb3b.rn-7vfszb.rn-eqz5dr.rn-1r74h94.rn-1mnahxq.rn-61z16t.rn-p1pxzi.rn-11wrixw.rn-ifefl9.rn-bcqeeo.rn-wk8lta.rn-9aemit.rn-1mdbw0j.rn-gy4na3.rn-u8s1d.rn-1lgpqti > span > div > div.rn-1oszu61.rn-1efd50x.rn-14skgim.rn-rull8r.rn-mm0ijv.rn-13yce4e.rn-fnigne.rn-ndvcnb.rn-gxnn5r.rn-deolkf.rn-6koalj.rn-1pxmb3b.rn-7vfszb.rn-eqz5dr.rn-1mnahxq.rn-61z16t.rn-p1pxzi.rn-11wrixw.rn-ifefl9.rn-bcqeeo.rn-wk8lta.rn-9aemit.rn-1mdbw0j.rn-gy4na3.rn-bnwqim.rn-1lgpqti > div > div > span > span") %>% as.character()
库(RSelenium)
图书馆(rvest)
rmDr%as.character()

您需要使用Rselenium。你应该读一些关于硒的教程。谢谢你的回复。在运行rsDriver()之后,我对RSelenium有一个问题:“请确保Selenium服务器正在运行”。我应该在chrome上安装一些插件吗(比如Phantom)?我以前从未遇到过这个问题。您是否尝试过寻找解决方案?