Apache spark 在Spark工作中使用多个执行者和工人

我在独立模式下运行spark，配置低于spark env-

export SPARK_WORKER_INSTANCES=4
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=4g

有了这个，我可以在spark UI 8080上看到4个工人

现在有一件事是，我的主URL（4040）上的执行者数量只有一个，我如何才能将其增加到每个工作节点2个

另外，当我从spark运行一个小代码时，它仅仅使用一个执行器，我是否需要进行任何配置更改，以确保使用多个worker上的多个执行器

---

非常感谢您的帮助。

将spark.master参数设置为local[k]，其中k是要使用的线程数。您最好在spark submit命令中写入这些参数，而不是使用export

并行处理基于RDD的分区数。如果您的Rdd有多个分区，那么它将并行处理

在代码中做一些修改（

重新分区

），它应该可以工作