Python 从网站上获取不同参与者的姓名时遇到问题

Python 从网站上获取不同参与者的姓名时遇到问题,python,python-3.x,web-scraping,Python,Python 3.x,Web Scraping,我试图从一个网页中只获取不同参与者的姓名,但当我运行下面的脚本时,它完全没有获取任何内容。它也不会抛出任何错误。我知道内容是高度动态的,在页面源代码中不可用,但仍然有几种方法可以获取它们,比如使用开发工具中可用的脚本标记或公共api。我试着找到所有这些,但没有前进的线索 我想抓住它。当页面打开时,应自动选择左侧面板中的esport选项卡 这是我迄今为止尝试过的: import requests from bs4 import BeautifulSoup url = 'find the lin

我试图从一个网页中只获取不同参与者的姓名,但当我运行下面的脚本时,它完全没有获取任何内容。它也不会抛出任何错误。我知道内容是高度动态的,在页面源代码中不可用,但仍然有几种方法可以获取它们,比如使用开发工具中可用的脚本标记或公共api。我试着找到所有这些,但没有前进的线索

我想抓住它。当页面打开时,应自动选择左侧面板中的
esport
选项卡

这是我迄今为止尝试过的:

import requests
from bs4 import BeautifulSoup

url = 'find the link above'

res = requests.get(url,headers={"User-Agent":"Mozilla/5.0"})
soup = BeautifulSoup(res.text,'lxml')
for items in soup.select(".gll-MarketGroup_Wrapper"):
    data = [item.text for item in items.select("[class$='_NameContainer']")]
    print(data)

如何使用请求仅从该站点获取名称?

我尝试使用该站点拥有的一个奇怪的api端点,我必须使用正则表达式对其进行解析。但是,如果您过于频繁地请求端点,有时需要多次尝试。如果你找不到一个更好的方法来解决这个问题,那么这应该是可行的。对不起,这不是100%

密码
导入请求
从bs4导入BeautifulSoup
进口稀土
def尝试获取api(尝试):
headers={'User-Agent':'Mozilla/5.0'}
url='1〕https://www.bet365.com.au/SportsBook.API/web?zid=0&pd=%23AC%23B151%23C1%23D50%23E2%23F163%23&cid=13&ctid=13'
r=requests.get(url,headers=headers,allow\u redirects=False)
text=r.text
#打印(文本)
games=re.finditer(r'NA=(.*?);文本)
打印('trunt='+str(trunt))
激活=错误
游戏中的游戏:
激活=真
如果game.group()中的“v”:
打印(游戏组(1))
如果未激活:
打印(右文本)
如果尝试>5:
打印(“尝试次数太多,退出”)
退出
尝试获取api(尝试+1)
尝试获取api(1)
输出
res.text
是什么样子的?不能检查
bet365.com.au
在我国是禁止的。尼斯:)这是我得到的。响应不包含必需的数据。你必须用硒才能得到它。@Alderven不,他没有。他只需要找到包含他想要的数据的请求。Selenium并不是所有问题的答案……我使用Fiddler找到了它,但API似乎不喜欢我——我认为重定向错误位可能很重要。我也找到了它。事实上,我忽略了它好几次,因为它的反应很奇怪。帮助获得响应的主要尝试是在上述脚本中多次尝试
如果未激活
块所做的操作。
Attempt = 1
Trap v Cure
herO v TY
Maru v Solar
Stats v Rogue
Classic v RagnaroK
Dear v Zest
Overwatch - OWL Play-Ins
Philadelphia Fusion v Shanghai Dragons
LNG Academy v SDX Gaming
Gama Dream v Dominus Esports.Y
Team WE Academy v TS Gaming
D7G Esports Club v Invictus Gaming Young
Oh My Dream v Young Miracles
LinGan e-Sports v Bilibili Gaming Junior
Scorpio Game v Suning Gaming-S
Victorious Gaming v FunPlus Phoenix Blaze
87 v Top Esports Challenger
Rogue Warriors Shark v Legend Esport Gaming
Neon Esports v Sunrise
Team Aspirations v Sunrise
Look For Sponsors v Five Brothers
Chiefs Esports Club v MAMMOTH
Overwatch - Contenders
Gen.G esports v Element Mystic
O2 Blast v RunAway
Mindfreak v ORDER
Griffin v SK Telecom T1
J Team v ahq e-Sports club
FunPlus Phoenix v Bilibili Gaming
Top Esports v Royal Never Give Up
Lowkey Esports v Dashing Buffalo
GAM Esports v Team Flash
Lucky Future v Bilibili Gaming
SN Gaming v Team WE
RNGU v Invictus Gaming
Titanar Gaming v LP Esports
G2 Esports v AVANGAR
MiBR v Natus Vincere
FaZe v Renegades
Team Vitality v mousesports
Astralis v CR4ZY
Team Liquid v North
Moops v Brute
eSuba v eXtatus
Royal Youth v SuperMassive
G2 Esports v Fnatic
All Knights v Isurus Gaming
Crest Gaming Act v V3 Esports
Flash v Snow
Fnatic Rising v Excel UK
Vodafone Giants v Origen BCN
KINGZONE DragonX v Afreeca Freecs
MAD Team v G-Rex
Flash Wolves v Hong Kong Attitude
Clutch Gaming v FlyQuest
Flamengo v INTZ
Origen v Splyce