Python bs4靓汤找不到div';s带div';这是出于某种原因

Python bs4靓汤找不到div';s带div';这是出于某种原因,python,html,beautifulsoup,html-parsing,lxml,Python,Html,Beautifulsoup,Html Parsing,Lxml,HTML: 之所以会得到None,是因为页面是通过JavaScript动态加载的,一旦页面本身加载,就会呈现JavaScript 因此,我能够跟踪表的起源,从那里JS发送XHR请求来获取它。这可以通过浏览器开发者工具在网络选项卡下跟踪 否则,您可以使用selenium。我为您提供了两种解决方案 导入请求 作为pd进口熊猫 json={ “id”:2, “方法”:“BL_TradeHalt.GetTradeHalts”, “参数”:“[]”, “版本”:“1.1” } 标题={ “Refere

HTML



之所以会得到
None
,是因为页面是通过
JavaScript
动态加载的,一旦页面本身加载,就会呈现
JavaScript

因此,我能够跟踪
表的起源,从那里
JS
发送
XHR
请求来获取它。这可以通过浏览器
开发者工具
网络选项卡下跟踪

否则,您可以使用
selenium
。我为您提供了两种解决方案

导入请求
作为pd进口熊猫
json={
“id”:2,
“方法”:“BL_TradeHalt.GetTradeHalts”,
“参数”:“[]”,
“版本”:“1.1”
}
标题={
“Referer”:https://www.nasdaqtrader.com/trader.aspx?id=TradeHalts'
}
r=请求数.post(
"https://www.nasdaqtrader.com/RPCHandler.axd,json=json,headers=headers).json()
df=pd.read_html(r[“result”])[0]
df.to_csv(“table1.csv”,index=False)
输出:

从selenium导入webdriver
从selenium.webdriver.firefox.options导入选项
从bs4导入BeautifulSoup
作为pd进口熊猫
选项=选项()
options.add_参数('--headless')
driver=webdriver.Firefox(options=options)
司机,快(
"https://www.nasdaqtrader.com/trader.aspx?id=TradeHalts")
df=pd.read\u html(driver.page\u source)[2]
#打印(df)
df.to_csv(“table.csv”,index=False)
driver.quit()

输出:

关闭标签<代码>表的值是多少?感谢工作正常,请参阅网络选项卡和RPCHandler.axd调用。如何确定请求的json内容。post调用?@MNewton检查用于请求本身的参数。