Apache spark 如何设置Spark executor内存？

我已将spark.executor.memory设置为2048m，在UI“环境”页面中，我可以看到该值已正确设置。但是在“Executors”页面中，我看到只有一个executor，它的内存是265.4MB。非常奇怪的值。为什么不是256MB，或者就像我设定的那样

我在这里遗漏了什么？

用户界面上的“执行者”选项卡还包括列表中的驱动程序。其“执行者ID”列为

。此进程不是由Spark启动的，因此它不受Spark.executor.memory的影响

• 如果使用

  spark submit

  启动驱动程序，其最大内存可由

  spark.driver.memory

  或

  --驱动程序内存

• 如果以普通的旧Java程序启动，请使用通常的

  -Xmx

  Java标志

---

关于265.4MB内存大小，请参见以下问题

---

您使用的是什么计划程序？独立的、中观的还是纱线的？你能发布你的提交脚本和你设置的spark环境变量吗？听起来你是在独立模式下运行的。检查@devrimbaris的答案。答案很好。但是，您确定驱动程序进程不是由Spark启动的吗？如果不是，是谁或什么启动了它？驱动程序是您的应用程序。您可以使用普通的

java

命令启动它。Spark提供了

Spark submit

工具，也可以用来启动您的应用程序。这就是我的想法。由于我通常使用

spark submit

启动spark作业，您的肯定让我大吃一惊。谢谢你的夸奖，谢谢。我已经对最后一句话进行了重新措辞，以便更清楚地说明哪些标志/设置适用于哪种启动方法。@DanielDarabos，非常感谢。我没有注意到你答案的第二部分，很难在IDE中设置值<代码>-Xmx保存了我的一天。