Web scraping &;nbsp;当使用BeautifulSoup刮取网页时,类会重新生成

Web scraping &;nbsp;当使用BeautifulSoup刮取网页时,类会重新生成,web-scraping,beautifulsoup,hidden-field,Web Scraping,Beautifulsoup,Hidden Field,我试图从网站中提取定价数据,但每次加载页面时,类都会重新生成为不同的字母序列,并且价格显示的是,而不是数字。有没有一种技术可以让我以任何方式绕过这个问题?谢谢以下是检查元素时显示的html行: <div class="zlgJQq">$</div> <div class="qFwqmC hkVukg2 njGalW">&nbsp;</div> $ 非常感谢您的帮助 也许该网站正在积极劝阻您删除他们的数据。这就解释了明显随机的类名

我试图从网站中提取定价数据,但每次加载页面时,类都会重新生成为不同的字母序列,并且价格显示的是
,而不是数字。有没有一种技术可以让我以任何方式绕过这个问题?谢谢以下是检查元素时显示的html行:

<div class="zlgJQq">$</div>
    <div class="qFwqmC hkVukg2 njGalW">&nbsp;</div>
$

非常感谢您的帮助

也许该网站正在积极劝阻您删除他们的数据。这就解释了明显随机的类名。您可能想阅读他们的使用条款,以确保可以删除他们的网站

但是,如果原始HTML不包含价格数据,但在呈现页面时它是可见的,那么很可能是在加载页面后使用Javascript插入价格。您可以尝试在浏览器中启用开发人员工具,并在加载页面时监视网络活动。这可能表明站点正在使用动态查询填充价格数据,然后您可以编写代码直接与Ajax资源交互

价格数据也可能被嵌入HTML的某个地方,可能会被混淆,然后由javascript动态加载


这只是几个建议。您将需要分析现场,以确定自动刮削是否可行。如果您能让我们知道您正在处理的是哪个网站,那么有人可能会提出更具体的建议。

也许该网站正在积极阻止您删除他们的数据。这就解释了明显随机的类名。您可能想阅读他们的使用条款,以确保可以删除他们的网站

但是,如果原始HTML不包含价格数据,但在呈现页面时它是可见的,那么很可能是在加载页面后使用Javascript插入价格。您可以尝试在浏览器中启用开发人员工具,并在加载页面时监视网络活动。这可能表明站点正在使用动态查询填充价格数据,然后您可以编写代码直接与Ajax资源交互

价格数据也可能被嵌入HTML的某个地方,可能会被混淆,然后由javascript动态加载


这只是几个建议。您将需要分析现场,以确定自动刮削是否可行。如果你能让我们知道你在处理什么网站,那么有人可能会提出更具体的建议。

正如mhawke所说,分享URL。没有它就没办法了。正如mhawke所说的,共享URL。没有它我就无能为力。Stackoverflow不允许我在这里添加链接,但我也面临同样的问题。您可以访问
tradingview
网站查看黄金的实时价格。刮掉这个价格就会得到空字符串。Stackoverflow不允许我在这里添加链接,但我也面临同样的问题。您可以访问
tradingview
网站查看黄金的实时价格。去掉那个价格就等于空字符串。