Scripting 获取网站每页链接快速列表的脚本或代码

Scripting 获取网站每页链接快速列表的脚本或代码,scripting,web,reporting,Scripting,Web,Reporting,如何以以下格式快速生成网站报告: Page Name. - Links within the page Page Name. - Links within the page 任何编程或脚本语言都可以 虽然我更喜欢Windows上的解决方案,但我们在办公室中提供了所有Windows、Mac和Linux平台 只是在寻找一种不用大张旗鼓就能做到的方法 也许有一些工具可以帮你做到这一点,但你自己动手并不难。一个可能的解决办法是 使用wget(可在Windows中找到)下载所有HTML文件,然后 使用

如何以以下格式快速生成网站报告:

Page Name.
- Links within the page

Page Name.
- Links within the page
任何编程或脚本语言都可以

虽然我更喜欢Windows上的解决方案,但我们在办公室中提供了所有Windows、Mac和Linux平台


只是在寻找一种不用大张旗鼓就能做到的方法

也许有一些工具可以帮你做到这一点,但你自己动手并不难。一个可能的解决办法是

  • 使用wget(可在Windows中找到)下载所有HTML文件,然后
  • 使用一些xpath工具或带有regexp的grep从页面获取标题和链接

  • ///Jens

    有大量的链路分析仪可以做到这一点。我在谷歌找到的第一个

    更有趣的是,Don Syme做了一个很棒的F#演示,他在其中编写了一个非常简单的异步URL处理类。我找不到确切的联系,但从F#MVP那里可以找到类似的东西。您需要调整它以拉出链接,如果您想要嵌套,则需要递归地跟随它们