Parsing 使用BeautifulSoup获取不可见的网页信息

Parsing 使用BeautifulSoup获取不可见的网页信息,parsing,web,beautifulsoup,urllib,Parsing,Web,Beautifulsoup,Urllib,我正试图从网站“”获取一些信息,更准确地说是所有个人估算,这些信息位于页面底部。但它只显示前30个,然后你应该手动按下“全部显示”按钮以获得另一个30,依此类推。 以下是我目前的代码: from urllib import urlopen from bs4 import BeautifulSoup html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table") soup = BeautifulSoup(html.read()

我正试图从网站“”获取一些信息,更准确地说是所有个人估算,这些信息位于页面底部。但它只显示前30个,然后你应该手动按下“全部显示”按钮以获得另一个30,依此类推。 以下是我目前的代码:

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table")
soup = BeautifulSoup(html.read(), "html.parser")
print(soup)
我看到打印的代码中有一部分:

"totalCount":142,"total_estimates_showing":30,"

是否可以更改此选项以打印所有估算值?

查看当您单击“全部显示”按钮时网站发出的ajax请求,您应该解析url:

“”


直接获取所有结果

谢谢!现在我看到了所有142个估计值,但在获取它们时遇到了一个问题。如果我运行“print(soup.findAll('script')[11].string.encode('utf8')”,它只显示$(function()…而不是里面的所有内容。看起来,数据在最初的请求中不在页面中,后来不知何故被带来了