Apache spark 新的SQLContext:Spark 1.6与Spark 2.1的向后兼容性

在IBMDSX上，我有以下问题

对于DSX上的Spark 1.6内核，有必要创建新的SQLContext对象，以避免出现

metastore\u db

和

HiveContext

的问题：

以下代码段是使用Spark 1.6实现的，它们都适用于Spark 2.0.2，但不适用于Spark 2.1：

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.createDataFrame([(1, "a"), (2, "b"), (3, "c"), (4, "d")], ("k", "v"))
df.count()

及

我得到这个错误：

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"

---

但是，当我第二次执行相同的代码时，它会再次工作。

IIRC，创建新的

SQLContext

仅对bluemix中的传统Spark服务（bluemix_ipythonspark_16）是必要的。DSX仅支持较新的服务（bluemix_jupyter_bundle），其中创建新的

SQLContext

更有可能在配置单元中产生问题，而不是解决问题。请尝试不使用。

IIRC，创建新的

SQLContext

仅对bluemix中的传统Spark服务（bluemix_ipythonspark_16）是必要的。DSX仅支持较新的服务（bluemix_jupyter_bundle），其中创建新的

SQLContext

更有可能在配置单元中产生问题，而不是解决问题。请尝试不使用。

您可以使用SQLContext.getOrCreate（sc），而不是使用SQLContext（sc）创建新的SQLContext。这将返回现有的SQLContext（如果存在）。

您可以使用SQLContext.getOrCreate（sc）而不是使用SQLContext（sc）创建新的SQLContext。这将返回现有的SQLContext（如果存在）

IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"