Apache spark 纱线上的Spark 2自动利用更多集群资源

我在CDH 5.7.0上，我可以看到spark 2在纱线簇上运行时出现了一个奇怪的问题。下面是我的作业提交命令

spark2提交--主线程--部署模式集群--配置“spark.executor.instances=8”--配置“spark.executor.cores=4”--配置“spark.executor.memory=8g”--配置“spark.driver.cores=4”--配置“spark.driver.memory=8g”--类com.learning.Trigger learning-1.0.jar

尽管我限制了我的工作可以使用的集群资源的数量，但我可以看到资源利用率超过了分配的数量

这项工作从基本内存消耗开始，比如8G内存，会吃掉整个集群

I未将动态分配设置为true。 我只是在

SparkSession

上触发一个插入覆盖查询

---

任何指针都会非常有用。

我在集群中创建了资源池，并将一些资源分配为

最小资源：4个虚拟内核和8 GB内存

使用这些池来分配spark作业，以限制资源（vCore和内存）的使用

e、 g.

spark2提交——类org.apache.spark.SparkProgram.rt_app——主纱线——部署模式集群——队列rt_pool_r1/usr/local/abc/rt_app_2.11-1.0.jar

---

如果有人有更好的选项来存档，请告诉我们。

我在集群中创建了资源池，并分配了一些资源作为

最小资源：4个虚拟内核和8 GB内存

使用这些池来分配spark作业，以限制资源（vCore和内存）的使用

e、 g.

spark2提交——类org.apache.spark.SparkProgram.rt_app——主纱线——部署模式集群——队列rt_pool_r1/usr/local/abc/rt_app_2.11-1.0.jar

如果有人有更好的选项来存档，请告诉我们。