Python 从复杂网站中抓取数据(隐藏内容)

Python 从复杂网站中抓取数据(隐藏内容),python,python-3.x,beautifulsoup,Python,Python 3.x,Beautifulsoup,我只是从网络抓取开始,不幸的是,我面临着一个阻碍:我想拉一些财务数据,但似乎网站相当复杂(动态内容等) 网站: 到目前为止,我已经用了很好的汤来做这道菜。然而,我甚至找不到那张桌子。有什么想法吗?研究一下如何使用selenium启动一个自动化的web浏览器。这将加载网页及其关联的动态内容,并允许您选择“单击”某些web元素以加载在单击时生成的内容。通过将driver.page\u source传递到beautifulsou并以这种方式解析,您可以将其与beautifulsou一起使用 这个答

我只是从网络抓取开始,不幸的是,我面临着一个阻碍:我想拉一些财务数据,但似乎网站相当复杂(动态内容等)

网站:


到目前为止,我已经用了很好的汤来做这道菜。然而,我甚至找不到那张桌子。有什么想法吗?

研究一下如何使用
selenium
启动一个自动化的web浏览器。这将加载网页及其关联的动态内容,并允许您选择“单击”某些web元素以加载在单击时生成的内容。通过将
driver.page\u source
传递到
beautifulsou
并以这种方式解析,您可以将其与
beautifulsou
一起使用

这个答案提供了一个基本的例子,可以作为一个很好的起点:

这可能就是你想要的。