Apache spark 使用Webhdfs/httpfs点燃火花

我想通过httpfs或Webhdfs将一个文件从HDFS读入Spark。类似于

sc.textFilewebhdfs://myhost:14000/webhdfs/v1/path/to/file.txt

或者，理想情况下

sc.textFilehttpfs://myhost:14000/webhdfs/v1/path/to/file.txt

---

有没有办法让Spark通过Webhdfs/httpfs读取文件？

我相信Webhdfs/httpfs就像流媒体源一样，通过REST-API传输数据

---

然后可以使用Spark Streaming从WebHDFS/HttpFS接收数据。

我相信WebHDFS/HttpFS就像通过REST-API传输数据的流源

---

然后可以使用Spark Streaming从WebHDFS/HttpFS接收数据。

根据Spark-2930文档增强请求，Spark.Thread.access.namenodes也应适用于WebHDFS/HttpFS。

---

获取有关spark.Thread.access.namenodes的更多详细信息根据spark-2930文档增强请求，spark.Thread.access.namenodes也应适用于webhdfs/hdfs。

---

获取有关spark.Thread.access.namenodes的更多详细信息

Hi Vijay，你能提供更多详细信息吗？Hi Vijay，你能提供更多详细信息吗？