使用python请求和BeautifulSoup从带有框架或flexbox的网站上刮取数据

我一直想弄明白，但运气不好。我找到了一条我认为会有帮助的线索（），但似乎没有任何进展

我要清理的网站是。。。http://www.northwest.williams.com/NWP_Portal/. 我特别想从“存储级别”的选项卡/框架中获取数据，但就我的一生而言，我似乎无法导航到正确的位置来获取数据。我尝试了下面代码的各种迭代，但都没有成功。我已将“lxml”更改为“html.parser”，查找表，查找“tr”等，但代码总是返回空。我也试过查看网络信息，但当我点击任何选项卡（系统状态、PAL/系统平衡等）时，我看不到网络活动有任何变化。我确信我忽略了一些简单的事情，但我就是不能把我的手指放在上面

from bs4 import BeautifulSoup as soup
import requests

url = 'http://www.northwest.williams.com/NWP_Portal/'

r = requests.get(url)

html = soup(r.content,'lxml')

page = html.findAll('div',{'class':'dailyOperations-panels'})

如何“导航”到“存储级别”框架/选项卡？我真正想要的html是什么？我能不能只点菜和靓汤？我并不反对使用Selenium，但我以前从未使用过它，如果可能的话，我更愿意使用requests和BeautifulSoup

---

提前谢谢

嘿，我注意到你正试图从一个不起作用的部门获得“日常操作面板”。

我想这就是我努力的地方。我试过很多不同的芬德尔，但似乎没有找到正确的组合。我尝试了``page=html.findAll（'table'，{'class'：'dailyOperations-panels'}）```但是我也没有成功。我注意到的另一条线索表明，这篇文章是在过度思考问题，但我开始怀疑我是否试图过于简单化，这并不像我想象的那么简单。还有其他人能提供一些见解吗？似乎当我请求主URL时，我得到的只是顶部的标题、左侧的菜单和右侧的天气。我似乎不知道如何进入数据的中间位置。检查网络活动我得到的唯一活动是单击顶部的每日操作链接。主框架内的每次单击都不会触发任何活动。对不起，如果我没有正确解释这一点。我只是需要帮助获取数据，之后我应该能够检索数据。非常感谢。