使用Python遍历HDFS

可以使用Python遍历HDFS吗？如果可能的话，我怎么做？谢谢

您可以查看一些库：

基于libhdfs3的支持此功能

from hdfs3 import HDFileSystem
hdfs = HDFileSystem()
hdfs.walk('/path/to/directory')

---

什么…你…试过了吗？还没试过，但我正在看。基本上，我想浏览HDF并将分区添加到配置单元表。如果您在发布之前对主题进行了一些思考或努力，即使只是链接到您一直在查看的库的文档，您也会得到更积极的响应。我明白了，谢谢您的建议！在漫游文件结构方面，您建议使用哪一种？嗯，我实际上没有使用过任何一种。但是，它们都有listing directory方法，因此可以同时使用这两种方法。不过，pydoop似乎有更好的文档记录。