Web scraping 使用BeautifulSoup获取表内容
我正在尝试使用以下python代码从此网站检索表内容:Web scraping 使用BeautifulSoup获取表内容,web-scraping,beautifulsoup,web-crawler,Web Scraping,Beautifulsoup,Web Crawler,我正在尝试使用以下python代码从此网站检索表内容: 但当我使用len(stat_table)时,它返回的值为零,表示无法从网站检索任何内容。有人知道我哪里出错了吗?感谢您的帮助。您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例: import json import requests url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&
但当我使用len(stat_table)时,它返回的值为零,表示无法从网站检索任何内容。有人知道我哪里出错了吗?感谢您的帮助。您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例:
import json
import requests
url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&q1=-1&type_filter=1,2,3,4&symbol=&change_filter=&minimum_ranking=&minimum_shares=&is_etf=0&sc=true&sort=current_mv&order=desc&offset=0&limit=25'
data = json.loads(requests.get(url).text)
# uncomment this to print all data:
# print(json.dumps(data, indent=4))
for row in data['rows']:
print('{:<5} {:<50} {:<15} {:<15}'.format(row['symbol'], row['name'], row['current_shares'], row['current_mv']))
您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例:
import json
import requests
url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&q1=-1&type_filter=1,2,3,4&symbol=&change_filter=&minimum_ranking=&minimum_shares=&is_etf=0&sc=true&sort=current_mv&order=desc&offset=0&limit=25'
data = json.loads(requests.get(url).text)
# uncomment this to print all data:
# print(json.dumps(data, indent=4))
for row in data['rows']:
print('{:<5} {:<50} {:<15} {:<15}'.format(row['symbol'], row['name'], row['current_shares'], row['current_mv']))
非常感谢你。让我看一看。我可以问一下你的目的是什么吗{:@JackyLaw这是格式化字符串,它意味着第一列是5个字符宽,第二列是50个字符,依此类推……我现在完全解决了这个问题,真的非常感谢你的帮助,否则我可能不得不搜索这么长时间。另一方面,如果我还想对下一页的类似数据进行web爬网,并在当前页的数据末尾追加,什么我该怎么办?你能给我一个建议吗?@JackyLaw为了不把评论部分弄得乱七八糟,我建议在这里就StackOverflow提出一个新问题,你把代码放在哪里了,你迄今为止都做了些什么。非常感谢。让我看看它们。我可以问一下它的目的吗{:@JackyLaw这是格式化字符串,它意味着第一列是5个字符宽,第二列是50个字符,依此类推……我现在完全解决了这个问题,真的非常感谢你的帮助,否则我可能不得不搜索这么长时间。另一方面,如果我还想对下一页的类似数据进行web爬网,并在当前页的数据末尾追加,什么我该怎么办?你能给我一个建议吗?@JackyLaw为了不把评论部分弄得乱七八糟,我建议在这里打开一个关于StackOverflow的新问题,你把代码放在哪里了,到目前为止你都做了些什么。
BGNE BeiGene Ltd ADR 147035258.0 28823321625.74
ZM Zoom Video Communications Inc 6856980.0 1738519000.0
IQ iQIYI Inc 46694629.0 1082848000.0
BABA Alibaba Group Holding Ltd ADR 3930086.0 847720000.0
PDD Pinduoduo Inc 9863866.0 846714000.0
UBER Uber Technologies Inc 19260700.0 598623000.0
TAL TAL Education Group American Depositary ADR 7906041.0 540615000.0
JD JD.com Inc ADR 7810402.0 470030000.0
BILI Bilibili Inc 9102063.0 421608000.0
CBPO China Biologic Products Holdings Inc 2962076.0 302665000.0
ESGR Enstar Group Ltd 1747840.0 267018000.0
ALGN Align Technology Inc 790365.0 216908000.0
APLS Apellis Pharmaceuticals Inc 5028289.0 164224000.0
FGEN FibroGen Inc 3955787.0 160328000.0
BBIO BridgeBio Pharma Inc 4711604.0 153645000.0
TSLA Tesla Inc 130378.0 140783000.0
CRM Salesforce.com Inc. 709495.0 132910000.0
ZTO ZTO Express Cayman Inc ADR 3433592.0 126047000.0
MDLZ Mondelez International Inc. (Kraft Foods) 2431164.0 124305000.0
VIE Viela Bio, Inc. 2815868.0 121983000.0
VIPS Vipshop Holdings Ltd ADR 5477392.0 109055000.0
BPMC Blueprint Medicines Corp 1364631.0 106441000.0
ARGX Argenx SE ADS ADR 470000.0 105858000.0
GOSS Gossamer Bio Inc 7420974.0 96473000.0
BEAM Beam Therapeutics Inc. 2966403.0 83059000.0