Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/283.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243)_Python_Apache Spark - Fatal编程技术网

Python SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243)

Python SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243),python,apache-spark,Python,Apache Spark,我看到有几篇文章包含与我收到的错误相同的错误,但没有一篇文章能让我修复代码。我已经多次使用这个完全相同的代码,没有问题,现在有问题了。以下是我收到的错误: y4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : org.apache.spark.SparkException: Only one SparkContext may be

我看到有几篇文章包含与我收到的错误相同的错误,但没有一篇文章能让我修复代码。我已经多次使用这个完全相同的代码,没有问题,现在有问题了。以下是我收到的错误:

y4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243).
以下是如何在python脚本中启动上下文:

spark = ps.sql.SparkSession.builder \
        .master("local[*]") \
        .appName("collab_rec") \
        .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/bgg.game_commen$
        .getOrCreate()

sc = spark.sparkContext
sc.setCheckpointDir('checkpoint/')
sqlContext = SQLContext(spark)

如果你有什么建议,请告诉我

SparkSession是Spark 2.x中的新入口点。这是SQLContext的替代品,但是它在内部代码中使用SQLContext

使用SQLContext所做的一切都应该可以通过SparkSession实现


如果确实要使用SQLContext,请使用spark.SQLContext变量

SparkSession是spark 2.x中的新入口点。这是SQLContext的替代品,但是它在内部代码中使用SQLContext

使用SQLContext所做的一切都应该可以通过SparkSession实现


如果确实要使用SQLContext,请使用spark.SQLContext变量

为什么需要SQLContext?SparkSession应该是enough@eliasah这是一个很好的观点。不幸的是,在我找到了一种让spark会话运行而不出错的方法之后,我在从mongo加载数据帧时收到了一个错误,这以前是有效的,但如果我今天不能弄清楚的话,可能会成为一篇单独的文章!为什么需要SQLContext?SparkSession应该是enough@eliasah这是一个很好的观点。不幸的是,在我找到了一种让spark会话运行而不出错的方法之后,我在从mongo加载数据帧时收到了一个错误,这以前是有效的,但如果我今天不能弄清楚的话,可能会成为一篇单独的文章!正如我在上面提到的,我的问题完全是另一个问题,然而,这个答案确实提供了关于Spark 2.x的有用信息,我最近自己发现了这些信息。老实说,我以前也曾在启动SparkSession时产生过此错误,但希望这里的答案能为用户提供有用的信息。为了避免此错误,SparkSession的可能配置是什么。@Kalyan不使用SQLContext,而是使用SparkSession或使用SQLContext=spark.SQLContext。配置将是最重要的same@T.Gawęda我仅在烧瓶spark应用程序中使用sparksession进行测试,但我面临着这个错误。我现在发布的问题可能会帮助你了解我的情况。正如我在上面提到的,我的问题完全是另一个问题,然而,这个答案确实提供了关于Spark 2.x的有用信息,我最近发现了这一点。老实说,我以前也曾在启动SparkSession时产生过此错误,但希望这里的答案能为用户提供有用的信息。为了避免此错误,SparkSession的可能配置是什么。@Kalyan不使用SQLContext,而是使用SparkSession或使用SQLContext=spark.SQLContext。配置将是最重要的same@T.Gawęda我仅在烧瓶spark应用程序中使用sparksession进行测试,但我面临着这个错误。我现在发布的问题可能会帮助你了解我的情况。给你