Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/shell/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 无法启动spark shell,因为它会在hadoop集群上产生错误。但是,在没有hadoop集群的情况下,它可以正常工作_Scala_Shell_Hadoop_Apache Spark_Apache Spark Sql - Fatal编程技术网

Scala 无法启动spark shell,因为它会在hadoop集群上产生错误。但是,在没有hadoop集群的情况下,它可以正常工作

Scala 无法启动spark shell,因为它会在hadoop集群上产生错误。但是,在没有hadoop集群的情况下,它可以正常工作,scala,shell,hadoop,apache-spark,apache-spark-sql,Scala,Shell,Hadoop,Apache Spark,Apache Spark Sql,当我删除hadoop cluster Setup文件夹时,我的spark shell工作得非常好,但是,如果我尝试使用hadoop cluster Setup文件夹,则spark shell会产生各种错误,例如“在spark中实例化'org.apache.spark.sql.hive.HiveSessionState'时出错”,即使我没有在任何地方配置配置配置配置配置单元。请注意,即使我尝试关闭hadoop和spark的所有集群,但即使spark shell也会产生以下错误: 运行:mkdir

当我删除hadoop cluster Setup文件夹时,我的spark shell工作得非常好,但是,如果我尝试使用hadoop cluster Setup文件夹,则spark shell会产生各种错误,例如“在spark中实例化'org.apache.spark.sql.hive.HiveSessionState'时出错”,即使我没有在任何地方配置配置配置配置配置单元。请注意,即使我尝试关闭hadoop和spark的所有集群,但即使spark shell也会产生以下错误:


运行:mkdir/user/$whoami/spark-warehouse


然后运行:sparkshell--conf spark.sql.warehouse.dir=file:///user/$whoami/spark warehouse

我们是否可以避免此蜂箱安装,因为它不是必需的?如果是,请让我知道如何启动?在运行spark shell之前,您是否启动了hadoop群集?我尝试了两种方式,即启动和不启动,但没有运气。。。。即使我刚刚安装了hive,但仍然会遇到相同的错误=file:///C:/tmp/spark-warehouse尝试以下操作:mkdir~/spark warehouse spark shell--conf spark.sql.warehouse.dir=file:///~/spark warehouse当我尝试使用root访问运行spark shell时,spark shell工作正常。当我尝试与当前用户,然后得到上述错误,但我已给予完全访问当前用户。原因可能是什么?