Html 使用inspector时代码上未显示的内容

Html 使用inspector时代码上未显示的内容,html,selenium,web-scraping,web-crawler,Html,Selenium,Web Scraping,Web Crawler,我正在尝试对这个网站进行爬网,但在inspector上显示的html代码中找不到任何实际的页面内容 他们是否使用某种框架来隐藏代码?有人有过这方面的经验吗 页面内容存储在#shadow root元素中。您可以在中阅读有关ShadowRoot的更多信息 如果需要帮助遍历影子DOM中的元素,可以引用。页面内容存储在#影子根元素中。您可以在中阅读有关ShadowRoot的更多信息 如果您需要帮助遍历阴影DOM中的元素,您可以引用。我可以右键单击并打开开发工具,查看页面上的HTML,如按钮、飞行时间等。

我正在尝试对这个网站进行爬网,但在inspector上显示的html代码中找不到任何实际的页面内容


他们是否使用某种框架来隐藏代码?有人有过这方面的经验吗

页面内容存储在
#shadow root
元素中。您可以在中阅读有关ShadowRoot的更多信息


如果需要帮助遍历影子DOM中的元素,可以引用。

页面内容存储在
#影子根
元素中。您可以在中阅读有关ShadowRoot的更多信息


如果您需要帮助遍历阴影DOM中的元素,您可以引用。

我可以右键单击并打开开发工具,查看页面上的HTML,如按钮、飞行时间等。我只是扩展了
标记下的所有元素。您在这里看到的问题是什么?当然,您可以右键单击元素,但是如果您转到inspector并复制整个html代码,您将看不到任何内容。就像我之前说过的某种框架,但不确定是什么类型(不是iframe)。基本上,当你试图抓取网站时,你得到的是html代码,而没有内容。你为什么要复制整个html代码?这一页上有很多iFrame,但我从未见过它们导致这样的问题。更常见的是JS动态加载的元素给出问题。对该网站运行Selenium代码并尝试查找元素时会发生什么情况?是否显示错误消息?当使用简单的get-on selenium时,您会看到与在浏览器上执行“查看页面源代码”相同的内容,因此没有任何动态内容。我可以右键单击并打开开发工具,查看页面上的HTML,例如按钮、飞行时间、,等等。我刚刚展开了
标记下的所有元素。您在这里看到的问题是什么?当然,您可以右键单击元素,但是如果您转到inspector并复制整个html代码,您将看不到任何内容。就像我之前说过的某种框架,但不确定是什么类型(不是iframe)。基本上,当你试图抓取网站时,你得到的是html代码,而没有内容。你为什么要复制整个html代码?这一页上有很多iFrame,但我从未见过它们导致这样的问题。更常见的是JS动态加载的元素给出问题。对该网站运行Selenium代码并尝试查找元素时会发生什么情况?是否显示错误消息?当使用简单的get on selenium时,您会看到与在浏览器上执行“查看页面源代码”相同的内容,因此没有任何动态内容。好信息!你知道这是否适用于selenium和firefox吗?我看到您给出的示例是针对chrome驱动器的。这篇文章有一个很好的概述:。在Chrome中,您可以使用Javascript执行器获取
#shadow root
元素,然后访问其中的元素。在Firefox中,这取决于版本,但默认情况下,直到v52才支持阴影DOM。好消息!你知道这是否适用于selenium和firefox吗?我看到您给出的示例是针对chrome驱动器的。这篇文章有一个很好的概述:。在Chrome中,您可以使用Javascript执行器获取
#shadow root
元素,然后访问其中的元素。在Firefox中,这取决于版本,但在v52之前,默认情况下不支持阴影DOM。