Web scraping 使用BeautifulSoup获取表内容

Web scraping 使用BeautifulSoup获取表内容,web-scraping,beautifulsoup,web-crawler,Web Scraping,Beautifulsoup,Web Crawler,我正在尝试使用以下python代码从此网站检索表内容: 但当我使用len(stat_table)时,它返回的值为零,表示无法从网站检索任何内容。有人知道我哪里出错了吗?感谢您的帮助。您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例: import json import requests url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&

我正在尝试使用以下python代码从此网站检索表内容:


但当我使用len(stat_table)时,它返回的值为零,表示无法从网站检索任何内容。有人知道我哪里出错了吗?感谢您的帮助。

您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例:

import json
import requests


url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&q1=-1&type_filter=1,2,3,4&symbol=&change_filter=&minimum_ranking=&minimum_shares=&is_etf=0&sc=true&sort=current_mv&order=desc&offset=0&limit=25'
data = json.loads(requests.get(url).text)

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

for row in data['rows']:
    print('{:<5} {:<50} {:<15} {:<15}'.format(row['symbol'], row['name'], row['current_shares'], row['current_mv']))

您看到的数据是通过JavaScript从另一个URL加载的。要加载数据,可以使用以下示例:

import json
import requests


url = 'https://whalewisdom.com/filer/holdings?id=hillhouse-capital-advisors-ltd&q1=-1&type_filter=1,2,3,4&symbol=&change_filter=&minimum_ranking=&minimum_shares=&is_etf=0&sc=true&sort=current_mv&order=desc&offset=0&limit=25'
data = json.loads(requests.get(url).text)

# uncomment this to print all data:
# print(json.dumps(data, indent=4))

for row in data['rows']:
    print('{:<5} {:<50} {:<15} {:<15}'.format(row['symbol'], row['name'], row['current_shares'], row['current_mv']))

非常感谢你。让我看一看。我可以问一下你的目的是什么吗{:@JackyLaw这是格式化字符串,它意味着第一列是5个字符宽,第二列是50个字符,依此类推……我现在完全解决了这个问题,真的非常感谢你的帮助,否则我可能不得不搜索这么长时间。另一方面,如果我还想对下一页的类似数据进行web爬网,并在当前页的数据末尾追加,什么我该怎么办?你能给我一个建议吗?@JackyLaw为了不把评论部分弄得乱七八糟,我建议在这里就StackOverflow提出一个新问题,你把代码放在哪里了,你迄今为止都做了些什么。非常感谢。让我看看它们。我可以问一下它的目的吗{:@JackyLaw这是格式化字符串,它意味着第一列是5个字符宽,第二列是50个字符,依此类推……我现在完全解决了这个问题,真的非常感谢你的帮助,否则我可能不得不搜索这么长时间。另一方面,如果我还想对下一页的类似数据进行web爬网,并在当前页的数据末尾追加,什么我该怎么办?你能给我一个建议吗?@JackyLaw为了不把评论部分弄得乱七八糟,我建议在这里打开一个关于StackOverflow的新问题,你把代码放在哪里了,到目前为止你都做了些什么。
BGNE  BeiGene Ltd ADR                                    147035258.0     28823321625.74 
ZM    Zoom Video Communications Inc                      6856980.0       1738519000.0   
IQ    iQIYI Inc                                          46694629.0      1082848000.0   
BABA  Alibaba Group Holding Ltd ADR                      3930086.0       847720000.0    
PDD   Pinduoduo Inc                                      9863866.0       846714000.0    
UBER  Uber Technologies Inc                              19260700.0      598623000.0    
TAL   TAL Education Group American Depositary ADR        7906041.0       540615000.0    
JD    JD.com Inc ADR                                     7810402.0       470030000.0    
BILI  Bilibili Inc                                       9102063.0       421608000.0    
CBPO  China Biologic Products Holdings Inc               2962076.0       302665000.0    
ESGR  Enstar Group Ltd                                   1747840.0       267018000.0    
ALGN  Align Technology Inc                               790365.0        216908000.0    
APLS  Apellis Pharmaceuticals Inc                        5028289.0       164224000.0    
FGEN  FibroGen Inc                                       3955787.0       160328000.0    
BBIO  BridgeBio Pharma Inc                               4711604.0       153645000.0    
TSLA  Tesla Inc                                          130378.0        140783000.0    
CRM   Salesforce.com Inc.                                709495.0        132910000.0    
ZTO   ZTO Express Cayman Inc ADR                         3433592.0       126047000.0    
MDLZ  Mondelez International Inc. (Kraft Foods)          2431164.0       124305000.0    
VIE   Viela Bio, Inc.                                    2815868.0       121983000.0    
VIPS  Vipshop Holdings Ltd ADR                           5477392.0       109055000.0    
BPMC  Blueprint Medicines Corp                           1364631.0       106441000.0    
ARGX  Argenx SE ADS ADR                                  470000.0        105858000.0    
GOSS  Gossamer Bio Inc                                   7420974.0       96473000.0     
BEAM  Beam Therapeutics Inc.                             2966403.0       83059000.0