Automated tests 用于系统测试的自动链接检查器

我经常不得不处理脆弱的遗留网站，当逻辑或配置更新时，这些网站会以意外的方式崩溃

我没有创建脚本所需的时间或系统知识。此外，我不想检查特定的用例——我想验证站点上的每个链接和页面

我想创建一个自动化的系统测试，它将爬行通过一个站点，检查断开的链接和崩溃。理想情况下，我可以使用一个工具来实现这一点。它应具有尽可能多的以下功能，按优先级降序排列：

• 通过脚本触发
• 不需要人工交互
• 跟踪所有链接，包括定位标记和指向CSS和js文件的链接
• 生成所有找到的404、500等的日志
• 可以在本地部署以检查内部网上的站点
• 支持基于cookie/表单的身份验证
• 免费/开源

有很多局部解决方案，比如，和，但没有一个能满足我的需要

我希望将此测试用于使用一系列技术和平台的项目，因此解决方案的可移植性越强越好

我意识到这并不能代替适当的系统测试，但如果我能用一种方便且自动化的方法来验证站点的任何部分都没有明显损坏，这将是非常有用的。

是一个商业程序，似乎可以做你想做的事情（没有使用它）

---

如果我处在你的位置，我可能会自己写这种蜘蛛…

W3C链接检查器在你的列表中不符合哪一部分？那就是我要用的

或者，（基于python的）是一种有趣的小语言，用于这类事情。它有一个循环，但我不认为它是递归的，所以这对爬行不太好。但是如果你觉得舒服的话，你可以修改它。我可能错了，可能有一个递归选项。无论如何，值得一看。

我用它来做这类事情。快速检查a/any站点上是否存在死链接等。只要把它指向任何URI，它就会抓取该站点上的所有链接

现场描述：

Xenu的链接侦探（TM）检查网络 断开链接的站点。链接 在“正常”状态下进行验证 链接、图像、帧、插件、， 背景、本地图像地图、样式 工作表、脚本和java小程序。信息技术 显示一个不断更新的 可以按不同类别排序的URL 标准报告可在 随时都可以

---

除了可编写脚本之外，它还满足您的所有要求，因为它是一个需要手动启动的windows应用程序。

您可能需要尝试使用wget来实现此目的。它可以爬行一个包含“页面要求”（即文件）的站点，并且可以配置为记录错误。我不知道它是否能为您提供足够的信息，但它是免费的，可以在Windows（cygwin）和unix上使用。

我不确定它是否支持表单身份验证，但如果您能在网站上使用它，它将处理cookies，否则我认为它将完成您列表中的所有操作。我以前在构建过程中使用过一个步骤来检查站点上是否没有损坏。网站上有一个链接。我们使用并且非常喜欢Linkchecker：

它是开源的、Python的、命令行的、内部可部署的，并且可以输出多种格式。当我们就问题联系开发人员时，他非常有帮助

我们有一个Ruby脚本，可以查询内部网站数据库，为每个网站启动带有适当参数的LinkChecker，并解析LinkChecker提供的XML，为CMS中的每个网站创建自定义错误报告。

我一直喜欢检查网站链接。但是，我认为它不符合您的所有标准，特别是可能依赖于JavaScript的方面。我还认为它将错过从CSS内部调用的图像

但对于所有锚来说，这种方法非常有效。

试试看。它不是免费的，但似乎做了你需要的一切，甚至更多

或者，来自同一家公司的公司有一种类似但不同的方法。后者将为您提供较少关于页面详细优化的信息，但仍将识别任何断开的链接等

---

免责声明：我对生产这些产品的公司有经济利益。

试试看，这是一个在线应用程序，可以检查传出链接的数量、页面排名、锚定、传出链接的数量。我认为这是您需要的解决方案。

自己编写可能是一种选择，但我感到惊讶的是，似乎还没有这样的工具。我本以为这是一个共同的需要。我同意，当我在你的问题后寻找一个时，我感到惊讶。我想，“我可以用这样的东西”，但没有雪茄。从初步看，W3C链接检查器进行检查意味着它失败：“可以在本地部署以检查内部网上的站点”@Adam:一点也不-在问题中链接的页面底部有一个下载链接！我用过这个程序，效果非常好！它不是开源的，但它是免费的（它在报告中包含一些我一直很高兴忽略的广告链接）。Xenu的Link-Sleuth网站说，为命令行操作该程序只需向Tilman支持的一项事业捐赠“300美元捐款”。Xenu的Link-Sleuth是一个很棒的工具。只有当您需要不同URL的不同设置时，它才会中断。。。这样做很尴尬。已经在很多很多项目上进行了商业应用。这是一个非常有用的工具，因为它可以检测任何404，可以设置为检测页面上的任何特定文本内容（如果您有自定义错误页面），并且有一个活跃的开发人员和测试人员社区。我过去使用过Xenu的链接搜索，但根据该网站，它自2010年以来一直没有维护过。因此，它忽略了img srcset链接之类的内容。此链接检查器正在维护并跟踪