Apache spark 我是否需要/如何清理Spark会话？_Apache Spark_Pyspark

Apache spark 我是否需要/如何清理Spark会话？

apache-spark pyspark

Apache spark 我是否需要/如何清理Spark会话？,apache-spark,pyspark,Apache Spark,Pyspark,我正在Python Flask web服务中启动Spark 2.4.6。我正在运行single Spark上下文，并且还启用了公平调度每次用户向其中一个REST端点发出请求时，我都调用spark=sparkSession.newSession（），然后在这个有点孤立的环境中使用sparksql执行各种操作我担心的是，在100个、10000个或100万个请求以及相同数量的新会话之后，我会在某个时候遇到问题吗？有没有办法让我的SparkContext知道我不再需要旧会话，它可以被清除

我正在Python Flask web服务中启动Spark 2.4.6。我正在运行single Spark上下文，并且还启用了公平调度

每次用户向其中一个REST端点发出请求时，我都调用

spark=sparkSession.newSession（）

，然后在这个有点孤立的环境中使用sparksql执行各种操作

我担心的是，在100个、10000个或100万个请求以及相同数量的新会话之后，我会在某个时候遇到问题吗？有没有办法让我的SparkContext知道我不再需要旧会话，它可以被清除