如何抓取Javascript动态生成的表

如何抓取Javascript动态生成的表,r,web,web-scraping,rvest,httr,R,Web,Web Scraping,Rvest,Httr,我是R方面的初学者,尝试从不同的网站提取不同的表数据。我能够执行基本数据刮取,但在尝试从下表提取数据时遇到了问题 网址: 我尝试使用css和xpath使用html\u read&html\u节点函数,但它没有返回值。有人能告诉我如何继续吗?所以您面临的问题是,rvest将读取页面的源代码,但不会在页面上执行javascript。加载源代码后,通过执行javascript创建该表 你最好的选择是研究硒。这是因为RSelenium实际上启动并驱动一个浏览器窗口,一旦javascript执行完毕,您就

我是R方面的初学者,尝试从不同的网站提取不同的表数据。我能够执行基本数据刮取,但在尝试从下表提取数据时遇到了问题

网址:


我尝试使用css和xpath使用
html\u read
&
html\u节点
函数,但它没有返回值。有人能告诉我如何继续吗?

所以您面临的问题是,rvest将读取页面的源代码,但不会在页面上执行javascript。加载源代码后,通过执行javascript创建该表

你最好的选择是研究硒。这是因为RSelenium实际上启动并驱动一个浏览器窗口,一旦javascript执行完毕,您就可以查询当前源代码(如果在Chrome中单击鼠标右键并选择Inspect,您会看到这个结果)


但是,RSelenium是从CRAN中提取的,因为有些依赖项是从CRAN中提取的,所以您可能需要使用MRAN来安装它。

您是否尝试过使用SelectorGadget作为浏览器附加组件来识别css/xpath?通常,SelectorGadget在
rvest
可能与
jsonlite::read_json(“https://www.nseindia.com/homepage/Indices1.json“,simpledVector=TRUE)$data
?也许
jsonlite::read_json(“https://www.nseindia.com/live_market/dynaContent/live_watch/stock_watch/niftyStockWatch.json“,simplifyVector=TRUE)
?@chinsoon12:谢谢。我可以使用read_json获得结果。@chinsoon12:但是你能告诉我你是如何识别json页面的吗?谢谢。“该表是在加载源代码后通过执行javascript创建的。”-这消除了我对为什么rvest不工作的疑问。