Node.js 在特定目录中爬行和保存链接。干杯

Node.js 在特定目录中爬行和保存链接。干杯,node.js,web-crawler,scrape,cheerio,Node.js,Web Crawler,Scrape,Cheerio,我有一个包含多个页面的网站() 我对每个页面进行了爬网,获得了包含分钟的链接。每一个带有分钟的链接都有一个日期,在我创建了带有年和月的文件夹之后,我坚持使用一个存储链接中的文件的方法 问题是: 如何下载月刊目录中的链接 function crawlLink(link){ link = 'http://www.europarl.europa.eu'+link; request(link, (error,response, html) => { if (!error &&

我有一个包含多个页面的网站() 我对每个页面进行了爬网,获得了包含分钟的链接。每一个带有分钟的链接都有一个日期,在我创建了带有年和月的文件夹之后,我坚持使用一个存储链接中的文件的方法

问题是: 如何下载月刊目录中的链接

function crawlLink(link){

link = 'http://www.europarl.europa.eu'+link;

request(link, (error,response,
html) => {
if (!error && response.statusCode == 200) {
    const $ = cheerio.load(html);

    const docTitle = $('.doc_title' ) ;

    var str = docTitle.html();
    var date_str = str.replace(' - Brussels','').replace(' - Strasbourg', '');
    var date = new Date(date_str); 
    console.log("created new dateobj", date);

    var year = new Array('January','February', 'March' , 'April' , 'May' , 'June', 'July' ,'August','September','Oktober','November','December');

    var mm   = date.getMonth(); //January is 0
    var yyyy = date.getFullYear();
    var monthName = year[mm];

    var yearDir = './data/'+yyyy;
    if (!fs.existsSync(yearDir)){
        fs.mkdirSync(yearDir);
    }else{
        console.log('yearDir exists');

    }

    var monthDir = yearDir+'/'+monthName;
    if (!fs.existsSync(monthDir)){
        fs.mkdirSync(monthDir);
    }else{
        console.log('monthDir exists');
    }

    console.log("wouhu everything is fine, get links and download them to monthDir");
    let downloadLinks = [];
    let $links = $('.doc_formats_box a');
    $links.each(function(i, elem) {
      downloadLinks.push({
        title:$(this).text(),
        link:$(this).attr('href')
        });
    });

    console.log(downloadLinks);
`