Apache spark Spark何时为map()的工作进程分配分区?

Apache spark Spark何时为map()的工作进程分配分区?,apache-spark,Apache Spark,我想知道Spark在map()操作期间何时为每个工作进程分配分区。我猜这可能是以下两种选择之一: Spark在计算开始之前将所有分区分配给辅助对象 Spark从一开始就为每个工作者分配一个分区。在每个工人完成其分区的处理后,它会得到一个新的分区进行处理,依此类推 请分享Spark在这里使用的策略 谢谢你,我想你指的是遗嘱执行人。此外,每个作业的并发执行器总数可能有限制。@BluePhantom,想想看,当我们将多个内核分配给一个执行器时,执行器可以并行处理相同数量的分区。这就是为什么我在问题中用

我想知道Spark在map()操作期间何时为每个工作进程分配分区。我猜这可能是以下两种选择之一:

  • Spark在计算开始之前将所有分区分配给辅助对象
  • Spark从一开始就为每个工作者分配一个分区。在每个工人完成其分区的处理后,它会得到一个新的分区进行处理,依此类推 请分享Spark在这里使用的策略


    谢谢你,我想你指的是遗嘱执行人。此外,每个作业的并发执行器总数可能有限制。@BluePhantom,想想看,当我们将多个内核分配给一个执行器时,执行器可以并行处理相同数量的分区。这就是为什么我在问题中用“工人”而不是“执行人”的原因。“工人”还有更合适的说法吗?同意遗嘱执行人的总数是有限制的。明白了,先生,但我想严格点。。。