如何使用R或Python(RVEST、HTTR、XHR或类似的东西)刮取本地存储键/值

如何使用R或Python(RVEST、HTTR、XHR或类似的东西)刮取本地存储键/值,r,web-scraping,rvest,httr,R,Web Scraping,Rvest,Httr,我一直在努力搜集这一页的数据 我很容易就可以用rvest bs4等工具得到那张桌子 然而,我发现源于表数据的JSON文件还有其他有用的补充信息 然后我发现浏览器检查面板中的XHR链接提供了对JSON文件的访问 我已经使用这个链接好几个月了,但是在最近几周,link()开始请求授权码(TOKEN)。问题在于,该令牌每一段时间或其他条件都会发生变化 我进一步研究了一下,发现令牌是由JS生成的,并且存储在页面中某个地方的本地存储中。我需要这个令牌作为头包含在代码中 我的简单问题是:如何使用r或pyth

我一直在努力搜集这一页的数据

我很容易就可以用rvest bs4等工具得到那张桌子

然而,我发现源于表数据的JSON文件还有其他有用的补充信息

然后我发现浏览器检查面板中的XHR链接提供了对JSON文件的访问

我已经使用这个链接好几个月了,但是在最近几周,link()开始请求授权码(TOKEN)。问题在于,该令牌每一段时间或其他条件都会发生变化

我进一步研究了一下,发现令牌是由JS生成的,并且存储在页面中某个地方的本地存储中。我需要这个令牌作为头包含在代码中

我的简单问题是:如何使用r或python获取该值

library(httr)
library(rlist)
library(jsonlite)
library(dplyr)
library(tidyverse)
library(V8)


resp<-GET("https://data.anbima.com.br/debentures?page=1&size=1499")
http_type(resp) 
http_error(resp)


query <- list(
  page="0",
  size="1470",
  field="",
  order=""
)
URL <- "https://data.anbima.com.br/debentures-bff/debentures"


resp<-GET(URL,
          c(
            # add_headers(Referer = "https://data.anbima.com.br/debentures?page=1&size=1470&"),
            add_headers(Authorization = "03AGdBq25HDdu4v2AzEjXJ_twI97EMrFlaNIcs3IuDHWzTFIp2mCXBqPaQPikuK7VRS3D7IC2v5briUdxPK3LpMPqrb1NoBqcXuI8gUkFdgVyNlObIdNzwQpVjcYASaW9N_gDx-M0SclFK54dDXHyRI7UVPAEQryV-1YSF6ebdJbY4BDr_eXRgMYe6UcK_Uh0YdfU1pMlcuU8O5dXKoRA-9GcX_AeaUxAUo5Mo_hQEGb0IPkPxojvEfgHvFdK0SQ4wgnmnJ0pcieO3h2exnJY1QxQd9sqqkfzdbGLaaCC7eNeWzXRAO3Yd9HtUciMclK612LfEm_ut89rtw8hSzlX3ZY6Vmo6zTvPT0WlMUrGLZ7syDEoDJKCi5xv6CSNgdAxqqqudEltDPUB7
")
            ),
            query=query)


js <- fromJSON(content(resp,as="text"))[[1]]
请检查下面的图片

我的简单问题是:如何使用r或python获取该值

library(httr)
library(rlist)
library(jsonlite)
library(dplyr)
library(tidyverse)
library(V8)


resp<-GET("https://data.anbima.com.br/debentures?page=1&size=1499")
http_type(resp) 
http_error(resp)


query <- list(
  page="0",
  size="1470",
  field="",
  order=""
)
URL <- "https://data.anbima.com.br/debentures-bff/debentures"


resp<-GET(URL,
          c(
            # add_headers(Referer = "https://data.anbima.com.br/debentures?page=1&size=1470&"),
            add_headers(Authorization = "03AGdBq25HDdu4v2AzEjXJ_twI97EMrFlaNIcs3IuDHWzTFIp2mCXBqPaQPikuK7VRS3D7IC2v5briUdxPK3LpMPqrb1NoBqcXuI8gUkFdgVyNlObIdNzwQpVjcYASaW9N_gDx-M0SclFK54dDXHyRI7UVPAEQryV-1YSF6ebdJbY4BDr_eXRgMYe6UcK_Uh0YdfU1pMlcuU8O5dXKoRA-9GcX_AeaUxAUo5Mo_hQEGb0IPkPxojvEfgHvFdK0SQ4wgnmnJ0pcieO3h2exnJY1QxQd9sqqkfzdbGLaaCC7eNeWzXRAO3Yd9HtUciMclK612LfEm_ut89rtw8hSzlX3ZY6Vmo6zTvPT0WlMUrGLZ7syDEoDJKCi5xv6CSNgdAxqqqudEltDPUB7
")
            ),
            query=query)


js <- fromJSON(content(resp,as="text"))[[1]]
库(httr)
图书馆(rlist)
图书馆(jsonlite)
图书馆(dplyr)
图书馆(tidyverse)
图书馆(V8)

respi发现这些值存储在appdata内的ldb文件中。。。如何访问它?我发现这些值存储在appdata中的ldb文件中。。。我如何访问它?