Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala spark中的一个阶段可以属于不同的工作吗?_Scala_Apache Spark - Fatal编程技术网

Scala spark中的一个阶段可以属于不同的工作吗?

Scala spark中的一个阶段可以属于不同的工作吗?,scala,apache-spark,Scala,Apache Spark,下面是spark的Stage类的一段代码,它定义了一个jobIds,它是一个HashSet,因此它意味着一个阶段可以属于不同的作业。我一直认为一个阶段只能属于一个工作,有人能展示一些示例代码来演示这一点吗 private[scheduler] abstract class Stage( val id: Int, val rdd: RDD[_], val numTasks: Int, val parents: List[Stage], val firstJo

下面是spark的Stage类的一段代码,它定义了一个
jobIds
,它是一个
HashSet
,因此它意味着一个阶段可以属于不同的作业。我一直认为一个阶段只能属于一个工作,有人能展示一些示例代码来演示这一点吗

private[scheduler] abstract class Stage(
    val id: Int,
    val rdd: RDD[_],
    val numTasks: Int,
    val parents: List[Stage],
    val firstJobId: Int,
    val callSite: CallSite)
  extends Logging {

  val numPartitions = rdd.partitions.length

  /** Set of jobs that this stage belongs to. */
  val jobIds = new HashSet[Int]

  /** The ID to use for the next new attempt for this stage. */
  private var nextAttemptId: Int = 0

  val name: String = callSite.shortForm
  val details: String = callSite.longForm
}

如果出现故障,将重新尝试一个阶段