Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/371.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 无法从HDFS读取文件_Scala_Hadoop_Apache Spark - Fatal编程技术网

Scala 无法从HDFS读取文件

Scala 无法从HDFS读取文件,scala,hadoop,apache-spark,Scala,Hadoop,Apache Spark,我正在尝试从HDFS读取文件。我正在使用以下代码: val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4) 我得到以下错误: java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000 我在文件路径中添加URI时引用了这个问题: 但由于上述错误,我仍然无法读取文件。如何解决此问题?尝

我正在尝试从HDFS读取文件。我正在使用以下代码:

val sam = sc.wholeTextFiles("hdfs://localhost:9000"+inputFolder,4)
我得到以下错误:

java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost, expected: hdfs://localhost:9000
我在文件路径中添加URI时引用了这个问题:


但由于上述错误,我仍然无法读取文件。如何解决此问题?

尝试使用IP而不是localhost

是否可以检查在系统中添加winutils.exe并为其设置环境变量。Spark需要winutils.exe来执行hdfs操作。

什么是
inputFolder?
它是hdfs内部路径的字符串变量…我对错误感到困惑,说您使用了
hdfs://localhost
,但应为
:hdfs://localhost:9000
,这就是您的代码已经在使用的内容。您确定HDFS正在运行并且在端口9000上,并且在您的本地主机上吗?是的,我在core-site.xml文件中检查了它,那么
sc.wholeTextFiles(inputFolder,4)
呢?