Node.js 如何使用ChereIO从Node JS中的多个页面(分页)中刮取数据
我在从一个网站的多个页面上刮取数据时遇到问题,我可以从一个网站的一个页面上刮取数据,它工作正常,但是从多个页面上刮取数据没有任何帮助。提前感谢,这段代码运行良好,但如何从多个页面获取相同的数据呢Node.js 如何使用ChereIO从Node JS中的多个页面(分页)中刮取数据,node.js,web-scraping,cheerio,Node.js,Web Scraping,Cheerio,我在从一个网站的多个页面上刮取数据时遇到问题,我可以从一个网站的一个页面上刮取数据,它工作正常,但是从多个页面上刮取数据没有任何帮助。提前感谢,这段代码运行良好,但如何从多个页面获取相同的数据呢 var express= require('express'); var path= require('path'); var request= require('request'); var cheerio= require('cheerio'); var fs
var express= require('express');
var path= require('path');
var request= require('request');
var cheerio= require('cheerio');
var fs= require('fs');
var vm= require('vm');
var async= require('async');
var app = express();
var port=1235
var arr=[];
var url= "http://www.shophive.com/prices/mobile-phones/";
request(url,function(err, res,body){
var $= cheerio.load(body);
if(err){
return console.error(err);
}
//console.log(arr.length);
var links= $('.product-block-inner .product-name a', '.products-
grid').each(function(){
var url_links= $(this).attr('href');
arr.push(url_links)
getspecs(url_links, (data)=>{
arr.push(data);
arr.push(data.titleText);
arr.push(data.priceText);
arr.push(data.specificationsText);
console.log("%j", data.priceText);
console.log("%j", data.titleText);
// console.log("%j", data.brandText;);
console.log("%j", data.specificationsText);
})
})
console.log(arr);
})
var getspecs= function(url1,callback ){
request(url1,function(err, res, body){
var $= cheerio.load(body);
var json= {
title:"",
priceText:"",
specificationsText:""
};
var price=$('span.regular-price ').first().text();
var priceText= price;
json.priceText= priceText;
var title= $('.product-name h1');
var titleText = title.text();
json.titleText= titleText;
var specifications= $('.padder table');
var specificationsText= specifications.text();
json.specificationsText= specificationsText;
var phone_info ={
title:titleText,
price:priceText,
specifications:specificationsText
};
callback(phone_info);
})
}
app.listen('1235')
console.log('running on prot');
如果你不提供你的代码,我们就帮不了你。我已经上传了代码,请检查一下,看看你是否能帮我!非常感谢