Node.js 使用NodeJS查找域上的所有页面

我正在尝试查找具有节点的域上的所有页面。 我在Stackoverflow上搜索，但我找到的只是Ruby的一个线程：-我有同样的问题，但是对于Node。 我也用谷歌搜索了这个问题，但我发现的都是那些找不到自己搜索链接的搜索引擎。我也在搜索一些东西，比如站点地图生成器、网页机器人、自动刮板，用节点获取域上的所有页面，但没有得到任何结果

我有一个scraper，它需要处理一系列链接，例如我有一个页面www.example.com/products/，我想在那里找到所有现有的子页面，例如www.example.com/products/product1.html、www.example.com/products/product2.html等

您能给我一个如何在Node中实现它的提示吗？

看看Crawler。您可以使用它来抓取网站并保存链接

Crawler是一个用Nodejs编写的网络蜘蛛。它给你充分的信息 jQuery在服务器上解析大量页面的能力 是异步下载的。刮应该是简单和有趣的

看看爬虫。您可以使用它来抓取网站并保存链接

Crawler是一个用Nodejs编写的网络蜘蛛。它给你充分的信息 jQuery在服务器上解析大量页面的能力 是异步下载的。刮应该是简单和有趣的

---

现有的爬虫程序会工作吗？现有的爬虫程序会工作吗？