Web scraping 如何从Squawka中获得这些球员的评级

Web scraping 如何从Squawka中获得这些球员的评级,web-scraping,curl,jq,Web Scraping,Curl,Jq,我想从Squawka中获取玩家的评级,如果我只是做一个URL请求并使用BeautifulSoup解析Python中的内容,我看不到评级或玩家名称显示在任何地方。我应该如何进行?有关特定URL,请参阅: 数据未嵌入html中,而是通过一些url参数从另一个JSON api检索: 要获取玩家全名和总数,请使用&: curl-s'http://www2.squawka.com/wp-content/themes/squawka_web/leaderboard_process-v2.php?type=P

我想从Squawka中获取玩家的评级,如果我只是做一个URL请求并使用BeautifulSoup解析Python中的内容,我看不到评级或玩家名称显示在任何地方。我应该如何进行?有关特定URL,请参阅:


数据未嵌入html中,而是通过一些url参数从另一个JSON api检索:

要获取玩家全名和总数,请使用&:

curl-s'http://www2.squawka.com/wp-content/themes/squawka_web/leaderboard_process-v2.php?type=Player%20Stats&filter=2&league=819&team=0,31299301302,33169,34309315,36,37,38,39,43,44,46,47323,48,49&播放=所有%20比赛和位置=所有%20球员%20位置和年龄开始=16&年龄结束=40&noofmatch=0&季节开始=2017年8月11日和2018年5月13日&by=季节和时间开始=0&timeend=90&is_home=1&showtype=total'|\ jq'[ .result |..|{total:.data?.total?,name:.info?.full_name?}| select.total!=null ]|按总数排序|反向|
我想知道,作为一个没有经验的网络破坏者,我是怎么知道这一点的,你采取了哪些步骤来解决这个问题?打开浏览器上的开发控制台,进入网络选项卡,刷新页面。查看主页的html正文,如果您的数据不在那里,它可能在附加请求中,在本例中查找iframe,如果没有,则是来自JS的API调用。进一步查看“网络”选项卡中的请求,直到找到包含数据的请求