Python SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243)
我看到有几篇文章包含与我收到的错误相同的错误,但没有一篇文章能让我修复代码。我已经多次使用这个完全相同的代码,没有问题,现在有问题了。以下是我收到的错误:Python SparkException:此JVM中只能运行一个SparkContext(请参阅SPARK-2243),python,apache-spark,Python,Apache Spark,我看到有几篇文章包含与我收到的错误相同的错误,但没有一篇文章能让我修复代码。我已经多次使用这个完全相同的代码,没有问题,现在有问题了。以下是我收到的错误: y4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext. : org.apache.spark.SparkException: Only one SparkContext may be
y4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243).
以下是如何在python脚本中启动上下文:
spark = ps.sql.SparkSession.builder \
.master("local[*]") \
.appName("collab_rec") \
.config("spark.mongodb.input.uri", "mongodb://127.0.0.1/bgg.game_commen$
.getOrCreate()
sc = spark.sparkContext
sc.setCheckpointDir('checkpoint/')
sqlContext = SQLContext(spark)
如果你有什么建议,请告诉我 SparkSession是Spark 2.x中的新入口点。这是SQLContext的替代品,但是它在内部代码中使用SQLContext 使用SQLContext所做的一切都应该可以通过SparkSession实现
如果确实要使用SQLContext,请使用spark.SQLContext变量SparkSession是spark 2.x中的新入口点。这是SQLContext的替代品,但是它在内部代码中使用SQLContext 使用SQLContext所做的一切都应该可以通过SparkSession实现
如果确实要使用SQLContext,请使用spark.SQLContext变量为什么需要SQLContext?SparkSession应该是enough@eliasah这是一个很好的观点。不幸的是,在我找到了一种让spark会话运行而不出错的方法之后,我在从mongo加载数据帧时收到了一个错误,这以前是有效的,但如果我今天不能弄清楚的话,可能会成为一篇单独的文章!为什么需要SQLContext?SparkSession应该是enough@eliasah这是一个很好的观点。不幸的是,在我找到了一种让spark会话运行而不出错的方法之后,我在从mongo加载数据帧时收到了一个错误,这以前是有效的,但如果我今天不能弄清楚的话,可能会成为一篇单独的文章!正如我在上面提到的,我的问题完全是另一个问题,然而,这个答案确实提供了关于Spark 2.x的有用信息,我最近自己发现了这些信息。老实说,我以前也曾在启动SparkSession时产生过此错误,但希望这里的答案能为用户提供有用的信息。为了避免此错误,SparkSession的可能配置是什么。@Kalyan不使用SQLContext,而是使用SparkSession或使用SQLContext=spark.SQLContext。配置将是最重要的same@T.Gawęda我仅在烧瓶spark应用程序中使用sparksession进行测试,但我面临着这个错误。我现在发布的问题可能会帮助你了解我的情况。正如我在上面提到的,我的问题完全是另一个问题,然而,这个答案确实提供了关于Spark 2.x的有用信息,我最近发现了这一点。老实说,我以前也曾在启动SparkSession时产生过此错误,但希望这里的答案能为用户提供有用的信息。为了避免此错误,SparkSession的可能配置是什么。@Kalyan不使用SQLContext,而是使用SparkSession或使用SQLContext=spark.SQLContext。配置将是最重要的same@T.Gawęda我仅在烧瓶spark应用程序中使用sparksession进行测试,但我面临着这个错误。我现在发布的问题可能会帮助你了解我的情况。给你