如何检测网站的所有URL？

我想知道如何检测指定网站的所有URL，比如，我知道的网站，我如何知道它有一些URL，比如，有没有方法或工具可以知道结果？

有一些可能性：

如果您不想编写代码，可以使用Xenu或Webspider之类的工具来扫描或保存网站

如果您想将其作为自己工具的一部分使用，可以使用PHP编写： 在外部服务器上侦听的目录处于打开状态：

$dir=stackoverflow.com/； foreachscandir$dir作为$file{ 打印 }

目录侦听包括： 然后，您需要根据php_get_内容打开站点，并根据preg_匹配过滤链接

---

第三种方法，你的意思是使用php_get_contents获取内容，然后在preg_match的帮助下查找所有URL，我认为这有点不可能，这是搜索引擎的工作。