在Windows 7上启动Spark shell时出现异常
我无法使Scala Spark shell在Windows 7上正确运行 无论何时启动它,都会出现以下错误:在Windows 7上启动Spark shell时出现异常,windows,scala,shell,exception,apache-spark,Windows,Scala,Shell,Exception,Apache Spark,我无法使Scala Spark shell在Windows 7上正确运行 无论何时启动它,都会出现以下错误:HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:rw rw rw- 我已经浏览了很多答案和一些博客,但到目前为止没有任何帮助 我正在运行Spark 2.1.0。我已将%HADOOP\u HOME%设置为目录,并在%HADOOP\u HOME%\bin中设置了winutils.exe Spark位于c:\Spark(无子目录)并且%Spark\u H
HDFS上的root scratch dir:/tmp/hive应该是可写的。当前权限为:rw rw rw-
我已经浏览了很多答案和一些博客,但到目前为止没有任何帮助
我正在运行Spark 2.1.0。我已将%HADOOP\u HOME%
设置为目录,并在%HADOOP\u HOME%\bin
中设置了winutils.exe
Spark位于c:\Spark
(无子目录)并且%Spark\u HOME%
设置为该目录
c:\tmp\hive
拥有777个权限,如我运行winutils ls ls tmp
时所示
从shell测试目录的写权限表明它是可写的。请看这里:
scala> import java.io.File
import java.io.File
scala> val f = new File("/tmp")
f: java.io.File = \tmp
scala> f.canWrite()
res0: Boolean = true
scala> val f2 = new File("/tmp/hive")
f2: java.io.File = \tmp\hive
scala> f2.canWrite()
res1: Boolean = true
sbt安装在C:\ProgramFiles(x86)\sbt\
上,并且%sbt\u HOME%
被设置到该目录
%JAVA\u HOME%
设置为C:\JAVA\jdk1.8.0\u 60\
C:\ProgramFiles(x86)\sbt\bin代码>,%SPARK\u HOME%\bin
和%HADOOP\u HOME%\bin代码>在路径中
我以管理员身份从命令行运行shell
加载所有内容并引发异常后,将不会加载任何spark库,sc
不可用
我做错了什么