Apache spark 为什么spark shell会因“；错误：未找到：值spark”；？

我使用Spark 2.1.0

当我运行

spark shell

时，遇到以下错误：

<console>:14: error: not found: value spark
       import spark.implicits._
              ^
<console>:14: error: not found: value spark
       import spark.sql
              ^

：14:错误：未找到：值火花
导入spark.implicits_
^
：14：错误：未找到：值火花
导入spark.sql
^

---

原因可能是什么？如何修复它？

出现错误的原因是，由于一些早期问题（可能是因为您在Windows上，并且尚未安装

winutils.exe

binary或其他一些会话保留基于Derby的本地元存储），无法创建实例

---

建议向上滚动并查看整个日志屏幕，从中可以找到根本原因。

我也面临同样的问题，在调查之后，我发现和之间存在兼容性问题

实验结束后，我建议您使用hadoop-2.7.1 winutils.exe和spark-2.2.0-bin-hadoop2.7版本以及hadoop-2.6.0 winutils.exe和spark-1.6.0-bin-hadoop2.6版本，并设置以下环境变量

SCALA_HOME  : C:\Program Files (x86)\scala2.11.7;
JAVA_HOME   : C:\Program Files\Java\jdk1.8.0_51
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1
SPARK_HOME  : C:\Hadoop\spark-2.2.0-bin-hadoop2.7
PATH    : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin;

创建C:\tmp\hivediroctory并使用以下命令授予访问权限

C:\Hadoop\winutils-master\hadoop-2.7.1\bin>winutils.exe chmod -R 777 C:\tmp\hive

从计算机中删除本地基于Derby的metastoremetastore_db目录（如果存在）

C:\Users\<User_Name>\metastore_db

---

对于

Ubuntu

用户

我有完全相同的错误，我用下面的方法修复了它

---

如果您正在从终端运行spark shell，请关闭并重新打开终端，然后重新启动spark shell。如果您正在运行Cloudera，请登录Cloudera manager并确保配置单元服务已打开。我也有同样的问题，我想我的蜂巢服务已经停止了。（配置单元元存储服务器、配置单元服务器、主机）

对于Spark，您需要确保HDFS、纱线和蜂箱已打开

---

如果HIVE处于关闭状态，则会出现上述错误。

如果您在Cloudera上，则此github票证中的解决方案对我有效（）：

根用户（启动spark shell时运行的用户）在HDFS中没有用户目录。如果创建一个（sudo-u hdfs hdfs dfs-mkdir/user/root，后跟sudo-u hdfs dfs-chown root:root/user/root），则应该修复此问题

即，为运行spark shell的用户创建HDFS用户主目录。

授予“chmod 777”此文件夹spark访问权限

C:\tmp\hive

以下是完整的命令：-

C:\spark\Hadoop\bin\winutils.exe chmod 777 C:\tmp\hive

---

我也犯了同样的错误。就我而言，硬盘几乎满了。我从磁盘上删除了一些大文件，重新启动后重新运行。成功了！但我认为情况并非总是如此

当你只在Windows上执行spark时，你会得到什么？你安装了winutils.exe吗？这是您第一次执行spark shell吗？谢谢大家，我已经解决了这个问题，这是安装时出现的错误。谢谢提醒，我向上滚动，然后看到另一个错误。现在我已经知道了！你能把整个异常从终端粘贴到你的问题上吗？这将有助于未来的读者。如果我的回答有帮助，请尽早接受。谢谢。谢谢

C:\spark\Hadoop\bin\winutils.exe chmod 777 C:\tmp\hive