Web scraping 使用phantomjs获取所有网络流量

Web scraping 使用phantomjs获取所有网络流量,web-scraping,phantomjs,Web Scraping,Phantomjs,我想使用phantomjs来绘制所有传入的流量。 例如,当页面包含一些动画时,需要单击以加载其他内容或单击链接,因此我的目标是: 1-自动执行所有用户事件 2-加载所有传入流量(css、图像、js…) 非常感谢您可以使用phantomjs提供的onRequestReceived方法。这将记录所有静态资源请求、ajax调用和正常http调用 page.onResourceRequested = function(response) { console.log(JSON.stringify(

我想使用phantomjs来绘制所有传入的流量。 例如,当页面包含一些动画时,需要单击以加载其他内容或单击链接,因此我的目标是:

1-自动执行所有用户事件

2-加载所有传入流量(css、图像、js…)


非常感谢

您可以使用phantomjs提供的onRequestReceived方法。这将记录所有静态资源请求、ajax调用和正常http调用

page.onResourceRequested = function(response) {
    console.log(JSON.stringify(response));
};

无法使用PhantomJS记录响应的内容。我尝试了onLoadFinished,但这需要一段时间,但没有任何结果。我正在尝试编写一个与httpfox相同的脚本。