Apache spark 如果会话停止,Spark上下文会发生什么情况?
如果使用Apache spark 如果会话停止,Spark上下文会发生什么情况?,apache-spark,Apache Spark,如果使用Spark.stop()停止名为Spark的现有Spark会话,其上下文会发生什么变化?它也会自动被杀死吗?我这样问是因为我接手了一些代码,上面写着: spark.stop() sc.stop() 我想知道我是否需要第二个命令。多亏了我找到了方法isStopped,如果我运行 spark.stop() spark.sparkContext.isStopped 它返回“true”。因此,停止会话似乎也会停止上下文。e、 ,我第一个帖子里的第二个命令是多余的 请注意在PysparkisS
Spark.stop()
停止名为Spark
的现有Spark会话,其上下文会发生什么变化?它也会自动被杀死吗?我这样问是因为我接手了一些代码,上面写着:
spark.stop()
sc.stop()
我想知道我是否需要第二个命令。多亏了我找到了方法isStopped
,如果我运行
spark.stop()
spark.sparkContext.isStopped
它返回“true”。因此,停止会话似乎也会停止上下文。e、 ,我第一个帖子里的第二个命令是多余的
请注意在PysparkisStopped
中,“'SparkContext'对象没有属性'isStopped'”。我用Spark Scala检查过了