需要一种方法在根目录中为任何错误页面抓取URL吗

我需要一种方法来检查我的根目录和所有网页中包含的任何错误网页每隔一段时间（5分钟）

我有一个程序，它可以检查特定的服务器或ip地址，看看它们是开着还是关着，如果它们关着，它会提醒我，这是非常有用的。我也可以通过发送GET请求和检查响应来检查特定的网页，看看它们是向上还是向下，但我需要一些更自动、更彻底的东西

是否有一个程序可以在给定根目录中的所有URL中爬行并检查每个页面的状态，然后报告任何已关闭的页面，并可以在给定的时间间隔内（例如每5分钟、10分钟…）执行此操作

谢谢

---

TS.

您可以使用类似的工具，但必须添加每个单独的URL。我不知道哪些工具可以爬网。

谢谢，但我已经具备了逐个检查URL的能力。我正在寻找一个工具，可以爬网根目录自动（在新的网页被添加或删除的情况下）。