Python 2.7 为pyspark flask应用程序中的每个请求创建Spark上下文

我是apace spark的新手，我们如何为基于web的应用程序创建spark上下文

下面是我用过的

from pyspark.context import SparkContext
from pyspark.conf import SparkConf
conf = SparkConf().setAppName('Test App').setMaster('spark://localhost:7077')
app = Flask(__name__)

@app.route('/find_possible_events', methods=['POST'])
def find_possible_events():
     sc=SparkContext.getOrCreate(conf=conf)
     data=sc.parallelize([20,30,40,50])
     d=data.collect()
     sc.stop
     return d

当我们同时有单个请求时，上面的方法很好，但如果有多个请求，则意味着会出错

线程“dispatcher-event-loop-8”中出现异常 java.lang.OutOfMemoryError:超出GC开销限制

当我查看spark worker日志时，它说spark上下文不可用

---

提前感谢

@RameshMaharjan感谢您的回复。因此，我们不会关闭spark上下文？？而不深入细节，像这样嵌入是不可取的，一个好的解决方案是对so格式进行扩展。我建议你先开始。