Python 使用BeatifulSoup在网站中创建表格失败

Python 使用BeatifulSoup在网站中创建表格失败,python,web-scraping,beautifulsoup,Python,Web Scraping,Beautifulsoup,我想从中提取表数据。但是如果我转到页面源代码,它不会显示完整页面源代码的表部分,而是在inspect中显示表标记。任何人都可以帮我从这个网站上抓取数据。源代码中没有显示该表,因为它是由Angular渲染的。BeautifulSoup只看到普通HTML源代码。 你可以 看一看,selenium推荐用于这类页面的位置(因为它执行javascript,通过inspect scrape使您在devtools中看到的内容成为可访问的) 或 使用devtools中的“Network”选项卡检查Javasc

我想从中提取表数据。但是如果我转到页面源代码,它不会显示完整页面源代码的表部分,而是在inspect中显示表标记。任何人都可以帮我从这个网站上抓取数据。

源代码中没有显示该表,因为它是由Angular渲染的。BeautifulSoup只看到普通HTML源代码。 你可以

  • 看一看,selenium推荐用于这类页面的位置(因为它执行javascript,通过inspect scrape使您在devtools中看到的内容成为可访问的) 或
  • 使用devtools中的“Network”选项卡检查Javascript中发出的请求。在这里,您切换到“XHR”,它显示JS的请求,重新加载页面并查看结果。正如你在我的屏幕截图中看到的,NSE请求得到了你想要的数据。 复制请求URL并直接请求它,以获得一个json结果,其中只包含您的答案。在这种情况下应该可以这样做,但对于某些API,您必须仔细查看headers选项卡,因为可能需要一些cookie或安全令牌才能获得有效答案

源代码中不显示该表,因为它是由Angular渲染的。BeautifulSoup只看到普通HTML源代码。 你可以

  • 看一看,selenium推荐用于这类页面的位置(因为它执行javascript,通过inspect scrape使您在devtools中看到的内容成为可访问的) 或
  • 使用devtools中的“Network”选项卡检查Javascript中发出的请求。在这里,您切换到“XHR”,它显示JS的请求,重新加载页面并查看结果。正如你在我的屏幕截图中看到的,NSE请求得到了你想要的数据。 复制请求URL并直接请求它,以获得一个json结果,其中只包含您的答案。在这种情况下应该可以这样做,但对于某些API,您必须仔细查看headers选项卡,因为可能需要一些cookie或安全令牌才能获得有效答案

请记住包含您当前的代码。请记住包含您当前的代码。谢谢您的友好回答。在你的帮助下,我现在可以从网站上抓取内容了。谢谢你友好的回答。在你的帮助下,我现在可以从网站上抓取内容了。