Javascript 如何为网络爬虫编写测试？

我想学习如何在Node.js中为应用程序编写测试——在本例中是webcrawler

示例代码：

var request = require('request');
var cheerio = require('cheerio');
var URL = require('url-parse');

var START_URL = "http://www.arstechnica.com";
var SEARCH_WORD = "stemming";
var MAX_PAGES_TO_VISIT = 10;

var pagesVisited = {};
var numPagesVisited = 0;
var pagesToVisit = [];
var url = new URL(START_URL);
var baseUrl = url.protocol + "//" + url.hostname;

pagesToVisit.push(START_URL);
crawl();

function crawl() {
  if(numPagesVisited >= MAX_PAGES_TO_VISIT) {
    console.log("Reached max limit of number of pages to visit.");
    return;
  }
  var nextPage = pagesToVisit.pop();
  if (nextPage in pagesVisited) {
    // We've already visited this page, so repeat the crawl
    crawl();
  } else {
    // New page we haven't visited
    visitPage(nextPage, crawl);
  }
}

function visitPage(url, callback) {
  // Add page to our set
  pagesVisited[url] = true;
  numPagesVisited++;

  // Make the request
  console.log("Visiting page " + url);
  request(url, function(error, response, body) {
     // Check status code (200 is HTTP OK)
     console.log("Status code: " + response.statusCode);
     if(response.statusCode !== 200) {
       callback();
       return;
     }
     // Parse the document body
     var $ = cheerio.load(body);
     var isWordFound = searchForWord($, SEARCH_WORD);
     if(isWordFound) {
       console.log('Word ' + SEARCH_WORD + ' found at page ' + url);
     } else {
       collectInternalLinks($);
       // In this short program, our callback is just calling crawl()
       callback();
     }
  });
}

function searchForWord($, word) {
  var bodyText = $('html > body').text().toLowerCase();
  return(bodyText.indexOf(word.toLowerCase()) !== -1);
}

function collectInternalLinks($) {
    var relativeLinks = $("a[href^='/']");
    console.log("Found " + relativeLinks.length + " relative links on page");
    relativeLinks.each(function() {
        pagesToVisit.push(baseUrl + $(this).attr('href'));
    });
}

所以。。。如何测试这样的代码？我知道我应该分享一小部分的申请，但在这种情况下，这是没有意义的。这个应用程序是否有一个通用测试，它提供样本数据，然后检查它是否返回我们期望的结果？我们还可以在这里测试什么

---

我可以使用Mocha、Expect或其他…

虽然看起来您希望有人为您编写测试，但实际上您可能会问应该采取哪种方法来确保代码的质量。您可以重新表述您的问题，添加您已经尝试过的步骤，并确保让您明白，答案应该适用于所有输入随时间变化的软件。答案通常是用模拟对象模拟依赖关系（我相信你有能力使用GoogleSensei）。我不想让任何人给我写测试。我只是不知道该怎么做。我是否应该重新设计代码以使其更易于测试？我会查看mock.Osherove，Roy（2009）。单元测试的艺术在这方面是一个很好的参考。