Apache spark Spark-限制从服务器的CPU核心或内存数量

我正在使用Spark 2.1。这个问题适用于一些Spark从属服务器同时运行其他应用程序的用例。有没有办法告诉Spark主服务器只使用从服务器的某些CPU内核或内存

---

谢谢。

要限制spark作业使用的内核数量，您需要在spark submit命令中添加

--total executor cores

选项。要限制每个执行器使用的内存量，请使用

--executor memory

选项。例如：

spark-submit --total-executor-cores 10 \
             --executor-memory 8g \
             --class com.example.SparkJob \
             SparkJob.jar

这也适用于spark shell

spark-shell --total-executor-cores 10 \
             --executor-memory 8g

---

谢谢史蒂文的回复。但是，它涉及每个作业级别的设置。我的问题是在从属服务器级别，因此主服务器将只使用特定从属服务器的CPU核心和/或内存的子集。下面是这个用例的更多细节。1.2台从属服务器，每台16核。2.从服务器#1上的所有16个内核都可以用于3。从属服务器#2还运行另一个程序，因此我希望主服务器最多使用16个CPU核中的8个。4.有多个作业同时运行，所以您不想限制每个作业。@Steven，我使用spark submit，正如您提到的，spark2 submit--class org.apache.SparkProgram.requestapp--master thread--deploy mode cluster--total executor cores 10--executor memory 8g/aaa/requestapp_2.11-1.0.jar但是当我提交作业时，它使用了17个V孔和17个容器。实际上，它应该使用10个vCore。我怎样才能限制它