Hadoop Spark:Spark UI未反映正确的执行者计数

我们正在运行一个spark流应用程序，希望增加spark使用的执行器数量…因此更新了spark default.conf将spark.executor.instances从28增加到40，但该更改未反映在UI中

1 Master/Driver Node : 
  Memory :24GB Cores :8 

4 Worker Nodes : 
  Memory :24GB Cores :8

spark.streaming.backpressure.enabled     true
spark.streaming.stopGracefullyOnShutdown true
spark.executor.instances                 28
spark.executor.memory                    2560MB
spark.executor.cores                     4
spark.driver.memory                      3G
spark.driver.cores                       1

注意：重新启动spark start-master.sh和start-slaves.sh，但没有更改。在此方面的任何帮助都将不胜感激。这是纱线网站.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hdfs-name-node</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>22528</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>7</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>22528</value>
    </property>

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
    </property>

    <property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>500</value>
    </property>

    <property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>512</value>
    </property>

    </configuration>

纱线.节点管理器.辅助服务
mapreduce_shuffle
warn.resourcemanager.hostname
hdfs名称节点
warn.nodemanager.resource.memory-mb
22528
纱线.nodemanager.resource.cpu-vcores
7.
warn.scheduler.maximum-allocation-mb
22528
纱线.nodemanager.local-dirs
file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache
纱线.nodemanager.localizer.cache.cleanup.interval-ms
500
warn.nodemanager.localizer.cache.target-size-mb
512

纱线站点配置为每个节点分配7个核心，因此您总共有35个核心，这意味着您最多可以使用1个核心运行34个执行器（1个核心用于驱动程序）。

您是否尝试在代码中设置此设置，如：

val conf=new SparkConf（）；conf.set（“spark.executor.instances”，“40”）；val sparkSession=sparkSession.config（conf.getOrCreate（）执行器实例取决于集群中可用的CPU核心。您的群集中有多少可用的免费内核？群集内核和RAM的总体资源是多少？@mrsrinivas在问题中添加了群集信息，请回答look@FaigB将集群上的总体资源添加到问题中，请注意我们拥有的5个节点，其中一个是主节点，其余4个节点是工作节点（4*7=28）？那么我们可以考虑主核吗？我认为主核上没有工作，只有工人做工作。这使得我们可以使用的核心数量只有28个？如果我在由yarn管理的yarn群集资源控制上的假设部署有误，并且如果所述节点包含在群集中，那么其资源也将共享，请纠正我的错误。