Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ionic-framework/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web scraping 从延迟加载的视频中抓取视频链接_Web Scraping - Fatal编程技术网

Web scraping 从延迟加载的视频中抓取视频链接

Web scraping 从延迟加载的视频中抓取视频链接,web-scraping,Web Scraping,我试图使用一个名为的包从页面中抓取视频,但加载页面时,该视频不会立即呈现,因此当我获取该页面的html代码时,video标记不存在,但如果我在浏览器中打开页面并进行检查,它就会存在 在抓取视频之前,如何等待页面加载视频?页面很可能使用javascript加载视频,因此,您需要能够呈现/执行HTML和javascript的库 我快速浏览了一下icrawler,根据它使用的文档,引用它的文档“不会产生可视化渲染、应用CSS、加载外部资源或执行JavaScript” 同样的文档提到,您可以使用(似乎被

我试图使用一个名为的包从页面中抓取视频,但加载页面时,该视频不会立即呈现,因此当我获取该页面的
html
代码时,
video
标记不存在,但如果我在浏览器中打开页面并进行检查,它就会存在


在抓取视频之前,如何等待页面加载视频?

页面很可能使用javascript加载视频,因此,您需要能够呈现/执行HTML和javascript的库

我快速浏览了一下icrawler,根据它使用的文档,引用它的文档“不会产生可视化渲染、应用CSS、加载外部资源或执行JavaScript”

同样的文档提到,您可以使用(似乎被放弃)或。另一种选择是使用