Web 如何在mysite.com上找到所有URL/页面

我有一个我现在支持的网站，需要列出所有实时页面/url。 是否有一个爬虫，我可以用来指向我的主页，并让它列出所有的网页/网址，它找到

然后我可以删除任何未进入此列表的页面，因为它们将是从未清理过的孤立页面/url

---

我正在使用DNN，希望删除不需要的页面。

由于您使用的是数据库驱动的CMS，您应该能够通过DNN管理界面或直接查看数据库来完成此操作。远比爬虫更可靠。

早在以前，我就使用它的递归检索功能来实现这一目的。这可能不是最有效的方法，但绝对有效。当然是YMMV，因为有些网站会返回比其他网站多得多的内容