Scala hdfs上的火花流摄取

我正在尝试使用以下代码，使用结构化流媒体接收hdfs中的数据：

val query = output
            .writeStream
            .format("csv")
            .option("path", "hdfs://hdfs_path")
            .option("checkpointLocation", "checkpoint")
            .start()

但由于以下错误，这不起作用：

原因：java.lang.IllegalArgumentException:java.net.UnknownHostException:user

---

是否有人知道如何解决此问题。

错误表明您没有在

hdfs://

之后使用

hostname

和port，而是以

hdfs://user/...

它告诉spark主机名是用户，这是不正确的

因此，找到

namenode

的

hostname

，并在路径中使用它

所以不是

.option("path", "hdfs://hdfs_path")

你应该使用

.option("path", "hdfs://hostname:port/hdfs_path")

---

您需要向我们提供有关该错误的更多信息您的sparksession配置很可能不正确也请提供您的初始化代码并测试您的spark shell是否正在运行感谢接受@ngi:）您也可以向上投票：）