Fatal编程技术网
  • web-scraping/
  • Web scraping 是否可以在网站上抓取脚本，并使用Puppeter跟踪它们加载的后续脚本

Web scraping 是否可以在网站上抓取脚本，并使用Puppeter跟踪它们加载的后续脚本

web-scraping scripting phantomjs

Web scraping 是否可以在网站上抓取脚本，并使用Puppeter跟踪它们加载的后续脚本,web-scraping,scripting,phantomjs,puppeteer,Web Scraping,Scripting,Phantomjs,Puppeteer,我想知道是否有可能爬网页面中加载的脚本，然后找到这些脚本之间的链接。如何加载后续脚本$.getScript（）document.createElement（'script'）？是的，我想到了类似的东西。但后来我在《木偶演员》中遇到了Eric（）的一个例子，它爬行寻找链接。但是在它中得到的错误很少（crawl.json没有创建gettig）。在我正在做的项目中，我希望得到脚本，如果它们是动态加载的-->就像iframe一样，它也可以加载scripts@GrantMiller我使用document.

我想知道是否有可能爬网页面中加载的脚本，然后找到这些脚本之间的链接。

如何加载后续脚本<代码>$.getScript（）
document.createElement（'script'）
？是的，我想到了类似的东西。但后来我在《木偶演员》中遇到了Eric（）的一个例子，它爬行寻找链接。但是在它中得到的错误很少（crawl.json没有创建gettig）。在我正在做的项目中，我希望得到脚本，如果它们是动态加载的-->就像iframe一样，它也可以加载scripts@GrantMiller我使用document.querySelectorAll（'script[src]'）；获取带有源代码的脚本。我的挑战是如何获得这些脚本之间的链接。当查看Chrome开发工具中的“网络”选项卡时，我们可以悬停并获取启动器。我正试图通过一个代码来获得同样的信息。嗨@GrantMiller，我看到了你的另一篇文章，其中说明了如何获得启动器的详细信息。谢谢你的密码。我已经试过了，但是我没有得到几个请求的启动器url，尽管网络选项卡中提到了一个url。