Apache spark 火花在“上分裂舞台；按选项应用。scala:120”；_Apache Spark_Stage

Apache spark 火花在“上分裂舞台；按选项应用。scala:120”；

apache-spark

Apache spark 火花在“上分裂舞台；按选项应用。scala:120”；,apache-spark,stage,Apache Spark,Stage,当我运行spark应用程序时，我从web ui中看到一些阶段描述类似于“apply at Option.scala:120”。为什么spark会在不是spark程序而是Scala库中的行上拆分阶段？这些行是在Utils.getCallStack（）中生成的。基本上，它是堆栈跟踪中最后一个火花线上的方法名（apply），加上堆栈跟踪中第一个非火花线上的文件名和行号（Option.scala:120）因此，看起来您进行了一个选项.getOrElse（）调用，您提供的默认值是启动阶段的值在Spa

当我运行spark应用程序时，我从web ui中看到一些阶段描述类似于“apply at Option.scala:120”。为什么spark会在不是spark程序而是Scala库中的行上拆分阶段？

这些行是在

Utils.getCallStack（）中生成的。基本上，它是堆栈跟踪中最后一个火花线上的方法名（apply
），加上堆栈跟踪中第一个非火花线上的文件名和行号（Option.scala:120
）
因此，看起来您进行了一个选项.getOrElse（）
调用，您提供的默认值是启动阶段的值
在Spark 1.1中，您可以获得每个阶段的完整堆栈跟踪，省去了这方面的猜测