Hadoop 无法启动Spark的主进程
我已经建立了一个三节点的Hadoop集群,并尝试使用Hadoop的纱线和HDFS运行Spark 我设置了各种环境变量,如Hadoop 无法启动Spark的主进程,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,我已经建立了一个三节点的Hadoop集群,并尝试使用Hadoop的纱线和HDFS运行Spark 我设置了各种环境变量,如HADOOP\u HOME,HADOOP\u CONF\u DIR,SPARK\u HOME等 现在,当我尝试使用start master.sh运行spark的主进程时,它给了我一些异常,异常文件的主要内容如下: Spark Command: /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/s
HADOOP\u HOME
,HADOOP\u CONF\u DIR
,SPARK\u HOME
等
现在,当我尝试使用start master.sh
运行spark的主进程时,它给了我一些异常,异常文件的主要内容如下:
Spark Command: /usr/local/java/bin/java -cp /usr/local/spark/conf/:/usr/local/spark/jars/*:/usr/local/hadoop/etc/hadoop/ - Xmx1g org.apache.spark.deploy.master.Master --host master.hadoop.cluster --port 7077 --webui-port 8080
Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
正如它所说的ClassNotFoundException,我无法理解如何提供这个类,以及使用哪个Jar来选择类文件。这个jar是不是和Spark下载捆绑在一起的
请任何人帮助解决此问题。这可能会帮助您从何处获得Spark版本?版本是什么?我手动下载了Spark.apache.org。这是最新版本,没有捆绑Hadoop。