Apache spark 让纱线为Spark动态分配资源

我有一个用纱线管理的集群，运行Spark作业，组件是使用Ambari（2.6.3.0-235）安装的。我有6台主机，每个主机有6个内核。我使用公平调度程序

我希望纱线自动添加/删除执行器芯，但无论我做什么，它都不起作用

相关火花配置（在Ambari中配置）：

相关纱线配置（在Ambari中配置）：

我还遵循并通过了配置外部洗牌服务的所有步骤，复制了纱线洗牌罐：

cp /usr/hdp/2.6.3.0-235/spark/aux/spark-2.2.0.2.6.3.0-235-yarn-shuffle.jar /usr/hdp/2.6.3.0-235/hadoop-yarn/lib/

我看到只有3个内核分配给应用程序（deafult executors是2，所以我猜它的驱动程序+2）队列：

尽管有许多任务尚未完成：

---

提交spark应用程序时，请覆盖以下spark配置属性并重试。在应用程序代码中，spark.dynamicAllocation.enabled=true和spark.shuffle.service.enabled=true。@SumanDas这两个设置都已配置，如配置说明中所示。另外，根据官方的Spark手册，我通过了外部随机播放配置的所有步骤。我只是想知道，在提交Spark作业时，您是否尝试传递上述参数。或者你试过在spark配置中设置它。您在上面共享的代码片段显示您已经在服务器级别进行了更改。在纱线模式下，我们在火花簇中也做了同样的事情。你也可以分享你的火花提交代码。另外，您正在使用哪个版本的spark？启用org.apache.spark.util.Utils logger的警告日志记录级别以查看内部发生的情况。将以下行添加到conf/log4j.properties:log4j.logger.org.apache.spark.util.Utils=WARN还共享spark.executor.instances计数

yarn.nodemanager.aux-services mapreduce_shuffle,spark_shuffle,spark2_shuffle
YARN Java heap size 4096
yarn.resourcemanager.scheduler.class org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
yarn.scheduler.fair.preemption true
yarn.nodemanager.aux-services.spark2_shuffle.class org.apache.spark.network.yarn.YarnShuffleService 
yarn.nodemanager.aux-services.spark2_shuffle.classpath {{stack_root}}/${hdp.version}/spark2/aux/*
yarn.nodemanager.aux-services.spark_shuffle.class org.apache.spark.network.yarn.YarnShuffleService
yarn.nodemanager.aux-services.spark_shuffle.classpath {{stack_root}}/${hdp.version}/spark/aux/*
Minimum Container Size (VCores) 0
Maximum Container Size (VCores) 12 
Number of virtual cores 12

cp /usr/hdp/2.6.3.0-235/spark/aux/spark-2.2.0.2.6.3.0-235-yarn-shuffle.jar /usr/hdp/2.6.3.0-235/hadoop-yarn/lib/