List 从整个网站获取链接列表（实际URL）

请容忍我，我不是技术员

我有一个网站（1000页），需要得到每个网页上出现的链接列表。例如，在一个页面（例如www.domain.com/reports）上可能有一个链接“单击此处查看报告”，该链接指向url www.domain.com/document1，还有一个链接“单击查看其他报告”，该链接指向url www.domain.com/document2。因此，我需要的是一份清单，其中显示：

网页：URL链接： www.domain.com/reports www.domain.com/document1、www.domain.com/document2

每个页面上有1000多个网页和大量链接，因此手工作业需要很长时间

有没有什么方法可以得到这样的列表，比如说，使用谷歌

谢谢大家的帮助

---

Craig是我用来做这件事的免费程序。您给它一个起始url，然后它将递归下载所有链接页面。输出是一个报告，告诉您站点上的所有链接和图像。

您需要的是一个spider，例如spiderzilla或ruby的spidr。非常感谢您的回复。是否有人知道任何在线/基于网络的程序（在我当前使用的电脑上对下载/运行.exe文件有限制）。如果你在谷歌搜索“site:your_domain.com”，你可以看到谷歌在该网站上找到的所有链接。这可能并不完美，但可能已经足够好了。感谢您的回复，不幸的是，您的网站：your_domain.com没有为我提供每个页面上的URL链接列表。它可以为我提供所有的页面，但不是每个特定页面上的链接。例如，我要查找的是每个网页的列表（例如，xyz.com），然后是出现在特定页面上的URL链接列表（例如，xyz.com/home、xyz.com/products/contact-us、bbc.co.uk、google.co.uk等）。