Apache spark Spark-如何在本地运行独立群集

是否有可能仅在一台机器上本地运行Spark单机集群（这与仅在本地开发作业基本不同（即，

local[*]

）

到目前为止，我正在运行两个不同的虚拟机来构建集群，如果我可以在同一台机器上运行一个独立的集群，例如运行三个不同的JVM，会怎么样

---

像拥有多个环回地址这样的方法可以做到吗？

是的，你可以做到，启动一个主节点和一个工作节点，你就可以开始了

发射主机

./sbin/start-master.sh

发射工

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://localhost:7077 -c 1 -m 512M

运行SparkPi示例

./bin/spark-submit  --class org.apache.spark.examples.SparkPi   --master spark://localhost:7077  lib/spark-examples-1.2.1-hadoop2.4.0.jar 

---

对于最新版本（2.1.0）的一个小更新，默认情况下是将主机绑定到主机名，因此在本地启动工作程序时使用

主机名的输出：

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://`hostname`:7077 -c 1 -m 512M

要运行示例，只需运行以下命令：

bin/run-example SparkPi

如果在您的计算机上找不到
/sbin/start master.sh
文件，也可以使用

./bin/spark-class org.apache.spark.deploy.master.Master

简单地说

./sbin/start-all.sh

在您的本地机器上，将启动master和一个worker

./bin/spark-submit  \
--class org.apache.spark.examples.SparkPi   \
--master spark://localhost:7077  \
examples/jars/spark-examples_2.12-3.0.1.jar 10000

提交了一份申请样本。通过Web UI进行监控：

Master UI:      http://localhost:8080
Worker UI:      http://localhost:8081
Application UI: http://localhost:4040  

谢谢，但是如果我需要两个或更多的工人并行工作呢？这可能吗？@luke您可以在不同的shell选项卡中使用launch-worker命令运行多个worker谢谢，我来试试！）谢谢，不再获得：工人无法连接到主人