Apache spark 我怎样才能在Spark中杀死卡住的作业而不杀死应用程序?

Apache spark 我怎样才能在Spark中杀死卡住的作业而不杀死应用程序?,apache-spark,pyspark,Apache Spark,Pyspark,如上所述,我只想终止stage 1244,而不是终止应用程序。 如果我单击kill按钮,它是否会杀死整个应用程序? 我如何才能只终止应用程序中我想要终止的作业?您突出显示的终止按钮将终止当前作业。然而: 如果这是一个交互式Spark会话(即运行Jupyter notebook或Spark shell或pyspark),则应用程序仍将处于活动状态 如果这是非交互式Spark会话(即Spark submit),则应用程序将与作业一起终止,因为应用程序状态被视为失败

如上所述,我只想终止stage 1244,而不是终止应用程序。
如果我单击
kill
按钮,它是否会杀死整个应用程序?

我如何才能只终止应用程序中我想要终止的作业?

您突出显示的终止按钮将终止当前作业。然而:

  • 如果这是一个交互式Spark会话(即运行Jupyter notebook或
    Spark shell
    pyspark
    ),则应用程序仍将处于活动状态
  • 如果这是非交互式Spark会话(即
    Spark submit
    ),则应用程序将与作业一起终止,因为应用程序状态被视为失败