R:使用userTimeline创建推特抓取循环

R:使用userTimeline创建推特抓取循环,r,twitter,web-scraping,R,Twitter,Web Scraping,我想创建一个循环来获取2个Twitter用户的所有推文(@Better_Together和@YesScotland)。即使我选择3200条tweets,根据此错误消息,这也是限制: In statusBase(cmd, params, n, 3200, ...) : statuses/user_timeline has a cap of 3200 statuses, clipping ) 我似乎最多只能收到40条推特 我想获得这两个帐户的所有+-5000条推文。我认为创建一个循环将是解决方案

我想创建一个循环来获取2个Twitter用户的所有推文(@Better_Together和@YesScotland)。即使我选择3200条tweets,根据此错误消息,这也是限制:

In statusBase(cmd, params, n, 3200, ...) : statuses/user_timeline has a cap of 3200 statuses, clipping ) 
我似乎最多只能收到40条推特

我想获得这两个帐户的所有+-5000条推文。我认为创建一个循环将是解决方案。有人能帮忙吗

 UK_Together.list <- userTimeline('UK_Together', n=3200)  
 UK_Together.df = twListToDF(UK_Together.list) 
 UK_Together.df$text <- sapply(UK_Together.df$text,function(row) iconv(row, "latin1", "ASCII", sub=""))
 write.csv(UK_Together.df, file='UK_TogetherTweets.csv', row.names=F)

 YesScotland.list <- userTimeline('YesScotland', n=3200)  
 YesScotland.df = twListToDF(YesScotland.list) 
 YesScotland.df$text <- sapply(YesScotland.df$text,function(row) iconv(row, "latin1", "ASCII", sub=""))
 write.csv(YesScotland.df, file='YesScotlandTweets.csv', row.names=F)

UK_Together.list我可能会编写一个for循环,并添加一个Sys.sleep行,将循环暂停足够长的时间以防止速率限制

我会编写一个循环,使用用户时间线中的maxID参数:

代码

然后将其放入某种循环并迭代,直到它不返回任何结果。 当你只下载几千条推文时,速率限制不应该成为问题

userTimeline("user", n=3200, maxID = min(as.numeric(user_timeline_df$id)))