Web scraping 从延迟加载的视频中抓取视频链接
我试图使用一个名为的包从页面中抓取视频,但加载页面时,该视频不会立即呈现,因此当我获取该页面的Web scraping 从延迟加载的视频中抓取视频链接,web-scraping,Web Scraping,我试图使用一个名为的包从页面中抓取视频,但加载页面时,该视频不会立即呈现,因此当我获取该页面的html代码时,video标记不存在,但如果我在浏览器中打开页面并进行检查,它就会存在 在抓取视频之前,如何等待页面加载视频?页面很可能使用javascript加载视频,因此,您需要能够呈现/执行HTML和javascript的库 我快速浏览了一下icrawler,根据它使用的文档,引用它的文档“不会产生可视化渲染、应用CSS、加载外部资源或执行JavaScript” 同样的文档提到,您可以使用(似乎被
html
代码时,video
标记不存在,但如果我在浏览器中打开页面并进行检查,它就会存在
在抓取视频之前,如何等待页面加载视频?页面很可能使用javascript加载视频,因此,您需要能够呈现/执行HTML和javascript的库 我快速浏览了一下icrawler,根据它使用的文档,引用它的文档“不会产生可视化渲染、应用CSS、加载外部资源或执行JavaScript” 同样的文档提到,您可以使用(似乎被放弃)或。另一种选择是使用