Apache spark spark-submit.sh如何在不同模式和不同群集管理器下工作？

在Apache Spark中，Spark-submit.sh如何在不同模式和不同集群管理器下工作？具体而言：

在本地部署模式下

• spark-submit.sh是否跳过调用任何群集管理器
• 不需要在本地计算机上安装群集管理器是否正确

在客户端或群集部署模式下

• spark-submit.sh是否与不同的集群管理器（spark standalone、Thread、Mesos、Kubernetes）协作？不同的集群管理器是否有不同的接口，spark-submit.sh是否必须以不同的方式调用它们

• 除了

  --master

  ，spark-submit.sh对程序员来说是否显示相同的界面？spark-submit.sh的选项

  --master

  用于指定群集管理器

---

谢谢。

为了清楚起见，在任何模式下运行spark时，绝对不需要指定任何群集管理器（

客户端

或

群集

或是否在

本地

模式下运行spark）。集群管理器只是为了使资源分配更容易和独立，但您始终可以选择是否使用集群管理器

spark submit

命令运行时不需要集群管理器

使用该命令的不同方式有：

1）

本地

模式：

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

2）

客户端

模式，无资源管理器（也称为）：

3）

群集

带spark独立模式的模式：

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

4） 具有资源管理器的客户端/群集模式：

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

如上所示，无论是否有集群管理器，spark-submit.sh都将以相同的方式运行。此外，如果您想使用像Thread、mesos这样的资源管理器，spark submit的行为将保持不变。 您可以阅读有关spark submit的更多信息

./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000