Scala apachespark的分区
我有一个由1个主节点和10个工作节点组成的集群。当我将分区数设置为3时，我想知道主节点是只使用3个工作节点还是全部使用它们？因为这表明它们都被使用了。关于你在问什么，这个问题不是很清楚，但是下面的事情可能会有所帮助 当您使用10个执行器启动作业时，spark application master将从Thread获得所有资源。因此，所有执行者都已与spark作业关联 但是，如果您的数据分区少于可用的执行器数量，那么其余的执行器将处于空闲状态。因此，保持分区数小于执行器计数不是一个好主意Scala apachespark的分区,scala,apache-spark,partitioning,Scala,Apache Spark,Partitioning,我有一个由1个主节点和10个工作节点组成的集群。当我将分区数设置为3时，我想知道主节点是只使用3个工作节点还是全部使用它们？因为这表明它们都被使用了。关于你在问什么，这个问题不是很清楚，但是下面的事情可能会有所帮助 当您使用10个执行器启动作业时，spark application master将从Thread获得所有资源。因此，所有执行者都已与spark作业关联 但是，如果您的数据分区少于可用的执行器数量，那么其余的执行器将处于空闲状态。因此，保持分区数小于执行器计数不是一个好主意