Node.js 在特定目录中爬行和保存链接。干杯
我有一个包含多个页面的网站() 我对每个页面进行了爬网,获得了包含分钟的链接。每一个带有分钟的链接都有一个日期,在我创建了带有年和月的文件夹之后,我坚持使用一个存储链接中的文件的方法 问题是: 如何下载月刊目录中的链接Node.js 在特定目录中爬行和保存链接。干杯,node.js,web-crawler,scrape,cheerio,Node.js,Web Crawler,Scrape,Cheerio,我有一个包含多个页面的网站() 我对每个页面进行了爬网,获得了包含分钟的链接。每一个带有分钟的链接都有一个日期,在我创建了带有年和月的文件夹之后,我坚持使用一个存储链接中的文件的方法 问题是: 如何下载月刊目录中的链接 function crawlLink(link){ link = 'http://www.europarl.europa.eu'+link; request(link, (error,response, html) => { if (!error &&
function crawlLink(link){
link = 'http://www.europarl.europa.eu'+link;
request(link, (error,response,
html) => {
if (!error && response.statusCode == 200) {
const $ = cheerio.load(html);
const docTitle = $('.doc_title' ) ;
var str = docTitle.html();
var date_str = str.replace(' - Brussels','').replace(' - Strasbourg', '');
var date = new Date(date_str);
console.log("created new dateobj", date);
var year = new Array('January','February', 'March' , 'April' , 'May' , 'June', 'July' ,'August','September','Oktober','November','December');
var mm = date.getMonth(); //January is 0
var yyyy = date.getFullYear();
var monthName = year[mm];
var yearDir = './data/'+yyyy;
if (!fs.existsSync(yearDir)){
fs.mkdirSync(yearDir);
}else{
console.log('yearDir exists');
}
var monthDir = yearDir+'/'+monthName;
if (!fs.existsSync(monthDir)){
fs.mkdirSync(monthDir);
}else{
console.log('monthDir exists');
}
console.log("wouhu everything is fine, get links and download them to monthDir");
let downloadLinks = [];
let $links = $('.doc_formats_box a');
$links.each(function(i, elem) {
downloadLinks.push({
title:$(this).text(),
link:$(this).attr('href')
});
});
console.log(downloadLinks);
`