Apache spark 我如何知道spark进程挂起代码的哪一部分?

Apache spark 我如何知道spark进程挂起代码的哪一部分?,apache-spark,pyspark,Apache Spark,Pyspark,我有一个火花过程,似乎永远挂在某一特定阶段: [Stage 18:> (0 + 1) / 1] 我怎么知道第18阶段是什么?我试图解释物理计划,但我看不到与不同阶段的连接。最简单的方法是默认检查端口4040上的Spark应用程序UI 除其他事项外,您将能够看到各个阶段的执行计划

我有一个火花过程,似乎永远挂在某一特定阶段:

[Stage 18:>                                                         (0 + 1) / 1]

我怎么知道第18阶段是什么?我试图解释物理计划,但我看不到与不同阶段的连接。

最简单的方法是默认检查端口4040上的Spark应用程序UI

除其他事项外,您将能够看到各个阶段的执行计划