Python 通过下拉选择转换的刮表数据(但URL相同)

Python 通过下拉选择转换的刮表数据(但URL相同),python,web-scraping,beautifulsoup,Python,Web Scraping,Beautifulsoup,我想把第一个表格(常规赛)中的所有数据都删掉。我可以通过HTML标签来实现,但该网页有一个方便的下拉功能,用于将表格转换为CSV格式,这正是我想要的数据格式: 下拉列表“将表格获取为CSV”: 这将导致以下CSV: 产生的csv: 我已经检查了HTML,当选择下拉列表时,它会修改HTML以包含CSV(即,它不仅仅是“隐藏”然后公开)。我假设是javascript生成的。但URL保持不变 是否有一种方法(例如使用BeautifulSoup)可以执行此操作以生成CSV?使用BeautifulSo

我想把第一个表格(常规赛)中的所有数据都删掉。我可以通过HTML标签来实现,但该网页有一个方便的下拉功能,用于将表格转换为CSV格式,这正是我想要的数据格式:

下拉列表“将表格获取为CSV”:

这将导致以下CSV:

产生的csv:

我已经检查了HTML,当选择下拉列表时,它会修改HTML以包含CSV(即,它不仅仅是“隐藏”然后公开)。我假设是javascript生成的。但URL保持不变


是否有一种方法(例如使用BeautifulSoup)可以执行此操作以生成CSV?

使用BeautifulSoup创建数据帧,然后使用pandas作为CSV文件写入

或者只是使用pandas解析表(然后做一些清理)。熊猫在引擎盖下使用美味的汤:

import pandas as pd

url = 'https://www.pro-football-reference.com/players/B/BreeDr00/gamelog/'
df = pd.read_html(url, header=1)[0]
df = df[df['Rk'] != 'Rk']
df = df[df['Rk'].notna()].reset_index(drop=True)

df.to_csv('drew_brees.csv')

请将文本作为文本而不是图像发布;另请参见@tripleee,这些图像是网页中的示例屏幕截图,我认为这是合适的