Javascript 如何从无限滚动的网站中抓取图像,该网站隐藏了api,而我无法使用Inspect Element->;网络

Javascript 如何从无限滚动的网站中抓取图像,该网站隐藏了api,而我无法使用Inspect Element->;网络,javascript,jquery,html,ajax,beautifulsoup,Javascript,Jquery,Html,Ajax,Beautifulsoup,我试图抓取一个有无限滚动的网页。所以我只能在第一次加载之前获取图像,并且无法再次获取它们。我甚至试图找到ajax应用程序调用,用于从Inspect Element->Network加载图像。但是发现它没有进行任何ajax调用,但是图像仍然在加载 有没有一种方法可以隐藏获取这些图像的get请求?您可以使用类似于headless的浏览器来提取其中的DOM节点。 如果需要,可以使用标准domapi,甚至jQuery var page=require('webpage').create(); 第页打开

我试图抓取一个有无限滚动的网页。所以我只能在第一次加载之前获取图像,并且无法再次获取它们。我甚至试图找到ajax应用程序调用,用于从Inspect Element->Network加载图像。但是发现它没有进行任何ajax调用,但是图像仍然在加载


有没有一种方法可以隐藏获取这些图像的get请求?

您可以使用类似于headless的浏览器来提取其中的DOM节点。 如果需要,可以使用标准domapi,甚至jQuery

var page=require('webpage').create();
第页打开('http://www.sample.com,函数(){
第页,包括http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js“,函数(){
page.evaluate(函数(){
console.log($(“.yourimgclass”))
});
幻影。退出()
});
});