在R中拖动时重定向到移动页面
我已经为同一个站点在R中测试了几个星期的web scrape,并且没有出现任何移动网站问题。今天早上,在执行了非常轻的抓取(总共2次网页点击)之后,我的第三次点击现在是重定向到该页面的移动版本。当我在相同的IP地址上查看Internet Explorer 11中完全相同的URL时,我直接指向完整的站点,而不是移动站点 关于stackoverflow的另一个问题也被问到了类似的问题,答案是用户代理很可能是R中的罪魁祸首。我使用以下代码使我的R会话模拟我的Internet Explorer会话:在R中拖动时重定向到移动页面,r,R,我已经为同一个站点在R中测试了几个星期的web scrape,并且没有出现任何移动网站问题。今天早上,在执行了非常轻的抓取(总共2次网页点击)之后,我的第三次点击现在是重定向到该页面的移动版本。当我在相同的IP地址上查看Internet Explorer 11中完全相同的URL时,我直接指向完整的站点,而不是移动站点 关于stackoverflow的另一个问题也被问到了类似的问题,答案是用户代理很可能是R中的罪魁祸首。我使用以下代码使我的R会话模拟我的Internet Explorer会话: o
options(HTTPUserAgent="Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko")
不幸的是,这似乎并没有解决这个问题。是否有人对我如何再次查看完整站点有任何其他猜测?经过进一步研究,在向网站发送标题信息时,XML和/或xml2库似乎没有传递HTTPUserAgent选项。通过使用RCurl包,我能够使用getURLContent()而不是read_html()导航到正确的站点,因为getURLContent()允许您指定HTTPUserAgent 我正在使用的网站今天必须更改规则,将身份不明的用户发送到其网站的移动版本,此解决方法解决了我的问题。您还可以在
httr
包中使用GET(…)
,该包还允许您设置用户代理。您可以在html\u会话()中使用user\u agent()rvest
中的