Apache spark 更改Spark Shell的执行器内存（和其他配置）

如何更改Apache Spark Shell的执行器内存（和其他配置）

---

特别是，我希望在启动spark shell时为spark shell提供单位，如-Dspark cores max=12，以便spark shell中的作业将使用这些配置设置。

不推荐使用使用接受的答案

编写如下脚本：

#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell

/usr/share/spark/bin/spark shell

应该是长spark shell启动脚本所在的路径。在我的集群中，/usr/local/bin/中有另一个脚本，但这一个脚本只有几行类似于上面的代码，并且具有

SPARK\u JAVA\u OPTS

硬编码

无论如何，请使用以下示例：

my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m

---

从spark 1.2.0开始，您可以通过向spark shell提供以下参数来设置

内存

和

内核

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

要查看其他选项，可以向spark shell发出以下命令

spark-shell --help

---

如果在独立模式（1节点）上安装的spark上运行spark shell，请使用

---

如果在群集（2+节点）上安装的spark上运行spark shell，请使用

4g就是4GB

./bin/spark-shell --driver-memory 4g

./bin/spark-shell --executor-memory 4g