Python 检查pyspark sparksession中的配置单元中是否存在表

Python 检查pyspark sparksession中的配置单元中是否存在表,python,pyspark,hive,Python,Pyspark,Hive,我有以下代码。我试图实现的是检查配置单元中的数据库中是否已经存在表。如果是,则将新数据附加到。如果没有,则创建一个新表 if "table1" in sqlContext.tableNames("db1"): df.write.format("orc").mode("append").insertInto("db1.table1") else: df.write.format(

我有以下代码。我试图实现的是检查配置单元中的数据库中是否已经存在表。如果是,则将新数据附加到。如果没有,则创建一个新表

 if "table1" in sqlContext.tableNames("db1"):
    df.write.format("orc").mode("append").insertInto("db1.table1")
 else:
    df.write.format("orc").saveAsTable("db1.table1")
但我得到了这个错误:

NameError: name 'sqlContext' is not defined
我正在使用Pyspark中的spark会话和Jupyter笔记本:

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

如何修复错误?

这取决于您的Apache Spark版本。如果Spark版本为1.x,则需要执行以下操作:

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

这取决于您的Apache Spark版本。如果Spark版本为1.x,则需要执行以下操作:

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

我的spark版本是2.3.0.2我正在获取名称错误:名称“sc”未使用来自pyspark导入SparkContext sc=SparkContext.getOrCreate()的代码定义我的spark版本是2.3.0.2我正在获取名称错误:名称“sc”未使用来自pyspark导入SparkContext sc=SparkContext.getOrCreate()的代码定义