如何在php中使用wget或curl获取网页上所有路径/文件的列表？

我使用

wget-p$url

获取网页上的所有文件，以便获得列表。但对于某些URL，wget只能获取index.html。有没有办法通过wget或cURL获取特定URL上的文件列表？我需要检查请求标题和响应标题吗？

某些服务器不允许您浏览目录列表，如果该目录中有默认文档，它将接管，您也无法浏览

---

您需要实现一个spider，它解析所有路径、文件和链接，并创建HTML中声明和使用的文件的目录结构然后你可以下载这些文件。

如果你能举一些例子，你会得到更好的回复。wget不遵循的链接是什么？@Pekka，例如：wget-p amazon.com，我只得到index.html。你说的“网页上的文件”到底是什么意思

wget-p

加载所有先决条件，即附加的样式表等。这就是你想要的吗？@Pekka，你可以在页面上键入一些url:tools.pingdom.com，文件列表就是我想要的。实际上，我通过使用“wget-p”获得了一些网站的此类文件列表，但对于许多其他网站，它只下载index.html。你有什么建议可以让我得到这样的文件列表吗？你可以在页面上键入一些url:，文件列表就是我想要的。你知道我怎样才能得到所有文件的列表吗？