python中本地文件、ftp、http的统一目录树遍历

在我的程序中，我想通过各种协议遍历目录树。我想我想要的是类似于

os.walk

的东西，但它适用于ftp，也适用于典型的http目录列表（如）。这是符合《基本法》精神的

对于FTP漫游，我找到了几个选项，包括，和具有Ubuntu优势的模块。我已经实现了自己的非常简单的http目录列表递归遍历，使用。但是在我将它们与os.walk结合之前，我想知道是否已经完成了

我知道http漫游的语义并不像文件系统和ftp那样定义得很好，所以我猜目录是由一个带有尾随斜杠的URL表示的，该斜杠扩展了目录的URL。我必须小心避免无限的散步。但是，即使对于os.walk的一个子集（例如，仅自上而下），这类功能似乎也很有用

---

这样做了吗？有什么建议吗？

好吧，我写了一段代码，它实际上可以遍历web目录并下载文件： （尽管这段代码可能需要改进，如图像下载、pdf下载等）， 但无论如何，这里是源/模块：

---

谢谢，但我希望从我所指的现有仅http代码迁移到更通用的方法，该方法利用os.WACK接口，因此可以与ftp、本地文件等进行统一。