Linux 无法使用spark shell启动spark
我正在尝试在cloudera群集上设置SPARK2。为此,我有JDK1.8: 我使用rpm文件安装了scala 2.11.8: 我已经在我的主目录:/home/cloudera上下载并解压缩了spark 2.2.0版 我对.bashrc中的PATH变量进行了如下更改: 但是,当我尝试从主目录:/home/cloudera执行spark shell时,它表示下面看不到这样的文件或目录:Linux 无法使用spark shell启动spark,linux,apache-spark,Linux,Apache Spark,我正在尝试在cloudera群集上设置SPARK2。为此,我有JDK1.8: 我使用rpm文件安装了scala 2.11.8: 我已经在我的主目录:/home/cloudera上下载并解压缩了spark 2.2.0版 我对.bashrc中的PATH变量进行了如下更改: 但是,当我尝试从主目录:/home/cloudera执行spark shell时,它表示下面看不到这样的文件或目录: [cloudera@quickstart ~]$ spark-shell /home/cloudera/
[cloudera@quickstart ~]$ spark-shell
/home/cloudera/spark/bin/spark-class: line 71: /usr/java/jdk1.7.0_67-cloudera/bin/java: No such file or directory
[cloudera@quickstart ~]$
有人能告诉我如何解决问题并正确配置它吗?Java/JVM应用程序(特别是spark shell)使用Java
二进制启动自身。因此,他们需要知道它的位置,这通常是通过JAVA\u HOME
环境变量完成的
在您的情况下,它不会被明确重置,并且使用Clauder的默认one Java发行版中的值(即使它指向空位置)
您需要将JAVA_HOME
设置为指向要在其下启动spark shell
和其他应用程序的用户的正确JAVA分发目录