Scala 在hadoop群集上安装spark群集

我正在尝试在hadoop集群上安装apache spark集群

---

我正在寻找这方面最好的练习。我假设spark主机需要与hadoop namenode和hadoop datanodes上的spark从机安装在同一台机器上。另外，我需要在哪里安装scala？请告知。

如果您的Hadoop群集正在运行Thread，请使用Thread模式提交您的应用程序。这将是最简单的方法，不需要安装任何东西，只需将ApacheSpark发行版下载到客户机上即可。您可以做的另一件事是将Spark程序集部署到HDFS，以便在调用Spark submit时可以使用Spark.warn.jar配置，以便将jar缓存在节点上

---

有关所有详细信息，请参见此处：

听起来不错，我已卸载了最新的spark二进制发行版，并运行了此命令/opt/spark-1.6.1/sbin/start-all.sh，但出现错误：在/opt/spark-1.6.1/assembly/target/scala-2.10中找不到spark程序集。test205:您需要在运行此程序之前构建Spark。我现在得到：test205:无法启动从日志文件上的org.apache.Spark.deploy.worker.worker:显示：[hadoop@test205 ~]$tail-f/opt/spark-1.6.1-bin-without-hadoop/logs/spark-hadoop-org.apache.spark.deploy.worker.worker-1-test205.kartikv.com.out在java.lang.Class.getMethod0（Class.java:3018）在java.lang.Class.getMethod（Class.java:1784）在sun.launcher.launcher.launchelper.validateMainClass（launchelper.java:544）上在sun.launcher.launchelper.checkAndLoadMain（launchelper.java:526）中，由于以下原因导致：java.lang.ClassNotFoundException:org.slf4j.logger如果您使用的是纱线，则不需要运行start-all.sh，只需设置纱线配置目录和HADOOP配置目录，然后将主机设置为纱线。请阅读我之前发布的纱线部署链接。