Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 杀死一个SparkContext这样我就可以创建一个新的_Apache Spark_Pyspark_Rdd - Fatal编程技术网

Apache spark 杀死一个SparkContext这样我就可以创建一个新的

Apache spark 杀死一个SparkContext这样我就可以创建一个新的,apache-spark,pyspark,rdd,Apache Spark,Pyspark,Rdd,我一直在尝试为pyspark v2.1.1运行Jupyter笔记本安装程序,但每次我尝试实例化一个上下文(刚重新启动的内核和derby.log文件以及metastore_db dir被删除),我都会收到以下错误,告诉我上下文已经在运行 ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master=local[16]) created by <mo

我一直在尝试为pyspark v2.1.1运行Jupyter笔记本安装程序,但每次我尝试实例化一个上下文(刚重新启动的内核和derby.log文件以及metastore_db dir被删除),我都会收到以下错误,告诉我上下文已经在运行

ValueError: Cannot run multiple SparkContexts at once; 
existing SparkContext(app=PySparkShell, master=local[16]) created by 
<module> at /home/ubuntu/anaconda2/lib/python2.7/site-packages/IPython/utils/py3compat.py:289

有没有人遇到过这个问题,并且知道当这种情况发生时,如何在Jupyter笔记本中运行上下文?

因此,不必弄清楚如何杀死已经运行的Spark上下文,显然您可以通过调用“获取”(或“创建”)已经创建的上下文

from pyspark import  SparkContext
sc = SparkContext.getOrCreate()

在jupyter笔记本的开头。

因此,您不需要弄清楚如何终止已经运行的Spark上下文,显然,您可以通过调用

from pyspark import  SparkContext
sc = SparkContext.getOrCreate()

在你的jupyter笔记本的开头。

我认为
getOrCreate
可以通过
SparkSession
使用,而不是
SparkContext
我也这么认为,但尝试了一下,它对我基于RDD的ALS模型有效。也许这至少是v2.1.1以来的新事物?我错了,它一直存在:我认为
getOrCreate
可用于
SparkSession
而不是
SparkContext
,我也这么认为,但尝试过,它对我基于RDD的ALS模型有效。也许这是一个新事物,至少从v2.1.1开始?我错了,它一直存在: