Apache spark 如何在独立模式下在不同的工作节点上运行多个spark应用程序？

1.我已经添加了这些行。/conf/spark.env.sh

**export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1"
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_INSTANCES=7**

2.我确实在终端上运行了此代码

/sbin/start all.sh

3.所有的工人和主人都开始了..我可以在web UI上看到这一点

4.之后我提交了多份spark申请

对于一个应用程序，只需2秒 但对于6个应用程序，每个应用程序需要8秒

这是我在终端上运行的.sh文件

gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g  --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 41' -x 'excute' &
 gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 42' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 43' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1  /home/uvionics/code/inter11.R 44' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077  --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 45 ' -x 'excute' &
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 46' -x 'excute'

当我运行这些代码时，需要8秒以上的时间

我认为每个应用程序都在master上运行。。。。。。 我想在spark的每个核心上并行运行应用程序。。

---

如何并行运行多个spark应用程序？？？

我认为，您正在一台服务器上运行所有工作程序来模拟集群

执行器内核与普通内核不同

executor Core是执行器可以运行的并发任务数。 工人核心-使工人运行的是“CPU核心”

在Spark中，可以选择在启动从机时设置CPU内核数量，该从机定义了CPU内核总数，以允许Spark应用程序仅在机器上的工作机上使用。 默认值为：使用所有可用的核心

启动Spark的命令如下所示：

/sbin/start-all.sh--核心2

---

或者您可以尝试使用

--executor cores 2

，即使我编写了相同的代码并启动了所有从机，我也会得到相同的结果……可能是您运行spark submit（spark driver node）的节点没有足够的资源并行执行。你能查一下吗？