Resource cleanup 网站内容清理工具？

我正在与一个客户端合作，将网站从现有的生产硬件迁移到新的硬件环境中。现在似乎是执行审计并删除任何旧的或过时的内容的绝佳时机，而不仅仅是盲目地再次复制

有没有什么好的免费工具或脚本可以用来比较服务器上的web可访问内容和服务器上的实际文件，以查看实际链接和使用的内容

---

提前感谢您的帮助

我肯定有，但我肯定没有人能比你自己做得更好，你知道吗？这个网站有多大？你自己编写的吗？

好吧，对于初学者来说，你可以使用一个工具，比如爬行你所有的页面来查找断开的链接等等。我们在内部网上使用此工具查找并修复断开的链接。它是免费的，可以完成工作

---

我们用于系统间迁移的另一个工具是搜索引擎。一个好的搜索引擎会抓取你所有的页面，并显示链接之间的双向关系。这可以帮助您找到链接最多的内容以及可能孤立的内容。不幸的是，这些工具不是免费的。

该网站非常大，大约有2-3000页，加上引用的图像和文件。用手做这件事是不实际的。我可以编写一个脚本来解析每一页，提取链接并检查它们，直到完成为止，记录下找到的每一页。然后与文件系统进行比较，但这需要很多时间。我不是第一个这样做的人，所以我想一定有一些免费或开源的工具可以帮助我，我只是不知道有一个。