docker中的Spark，为驱动程序/执行器设置内存

我在一个单独的码头上运行spark master和spark worker

我能看见他们在跑

✗ ps-ef |格雷普火花根3477 3441 0 1월05 ? 00:04:17 /usr/lib/jvm/java-1.8-openjdk/jre/bin/java-cp /usr/local/spark/conf/：/usr/local/spark/jars/*-Xmx1g org.apache.spark.deploy.master.master——ip节点主节点——端口7077 --webui端口10080

我不确定我的员工使用的是1g还是8g，我确实通过SparkConf设置了内存选项

 conf.set("spark.executor.memory", "8g")
 conf.set("spark.driver.memory", "8g")

我可以在web ui中看到

8g

我真的在用8g吗？是否有方法更改ps下命令行中显示的

Xmm1g

部件

**编辑

---

我运行的是独立集群（不是纱线），并且使用pyspark，在独立集群模式下不可能使用spark提交python文件

目前，独立模式不支持群集模式 Python应用程序

---

通常，您不应该在代码中设置这些选项，因为根据群集管理器的不同，这些选项可能没有效果

您应该在spark submit命令中设置这些参数

请参阅

火花特性主要可分为两类：一类是相关的 部署，如“spark.driver.memory”、“spark.executor.instances”， 设置时，此类属性可能不受影响 在运行时通过SparkConf以编程方式进行，或者行为是 取决于您选择的群集管理器和部署模式，因此 建议通过配置文件或spark提交进行设置 命令行选项；另一个主要与Spark运行时有关 控件，如“spark.task.maxFailures”，此类属性可以 以任何一种方式设置

更新

发件人：

---

我运行的是独立集群（不是纱线），使用pyspark，在独立集群模式下不可能使用spark提交python文件。我相信这些事实也应该在问题中提及，但我在官方文档中看到了使用spark submit启动python的示例。把它添加到我的答案中。我认为这个例子适用于不使用集群的情况。

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000