Apache spark 杀死一个SparkContext这样我就可以创建一个新的
我一直在尝试为pyspark v2.1.1运行Jupyter笔记本安装程序,但每次我尝试实例化一个上下文(刚重新启动的内核和derby.log文件以及metastore_db dir被删除),我都会收到以下错误,告诉我上下文已经在运行Apache spark 杀死一个SparkContext这样我就可以创建一个新的,apache-spark,pyspark,rdd,Apache Spark,Pyspark,Rdd,我一直在尝试为pyspark v2.1.1运行Jupyter笔记本安装程序,但每次我尝试实例化一个上下文(刚重新启动的内核和derby.log文件以及metastore_db dir被删除),我都会收到以下错误,告诉我上下文已经在运行 ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[16]) created by <mo
ValueError: Cannot run multiple SparkContexts at once;
existing SparkContext(app=PySparkShell, master=local[16]) created by
<module> at /home/ubuntu/anaconda2/lib/python2.7/site-packages/IPython/utils/py3compat.py:289
有没有人遇到过这个问题,并且知道当这种情况发生时,如何在Jupyter笔记本中运行上下文?因此,不必弄清楚如何杀死已经运行的Spark上下文,显然您可以通过调用“获取”(或“创建”)已经创建的上下文
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
在jupyter笔记本的开头。因此,您不需要弄清楚如何终止已经运行的Spark上下文,显然,您可以通过调用
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
在你的jupyter笔记本的开头。我认为
getOrCreate
可以通过SparkSession
使用,而不是SparkContext
我也这么认为,但尝试了一下,它对我基于RDD的ALS模型有效。也许这至少是v2.1.1以来的新事物?我错了,它一直存在:我认为getOrCreate
可用于SparkSession
而不是SparkContext
,我也这么认为,但尝试过,它对我基于RDD的ALS模型有效。也许这是一个新事物,至少从v2.1.1开始?我错了,它一直存在: