Scala 无法从HDFS读取文件
我正在尝试从HDFS读取文件。我正在使用以下代码:Scala 无法从HDFS读取文件,scala,hadoop,apache-spark,Scala,Hadoop,Apache Spark,我正在尝试从HDFS读取文件。我正在使用以下代码: val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4) 我得到以下错误: java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000 我在文件路径中添加URI时引用了这个问题: 但由于上述错误,我仍然无法读取文件。如何解决此问题?尝
val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)
我得到以下错误:
java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000
我在文件路径中添加URI时引用了这个问题:但由于上述错误,我仍然无法读取文件。如何解决此问题?尝试使用IP而不是localhost是否可以检查在系统中添加winutils.exe并为其设置环境变量。Spark需要winutils.exe来执行hdfs操作。什么是
inputFolder?
它是hdfs内部路径的字符串变量…我对错误感到困惑,说您使用了hdfs://localhost
,但应为:hdfs://localhost:9000
,这就是您的代码已经在使用的内容。您确定HDFS正在运行并且在端口9000上,并且在您的本地主机上吗?是的,我在core-site.xml文件中检查了它,那么sc.wholeTextFiles(inputFolder,4)
呢?