pyspark中的spark.sql-无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

pyspark中的spark.sql-无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient,hive,pyspark-sql,Hive,Pyspark Sql,在尝试执行简单的sql查询时,我遇到了pyspark.sql问题,但我看到以下错误: AnalysisException:'org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException:无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;' 最初读取配置单元表的代码工作正常: df= 火花,阅读。csvhdfs://loc

在尝试执行简单的sql查询时,我遇到了pyspark.sql问题,但我看到以下错误:

AnalysisException:'org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException:无法实例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'

最初读取配置单元表的代码工作正常:

df= 火花,阅读。csvhdfs://localhost:54310/user/hduser/creditfraud/creditscoring.csv, header=True,sep=',,inferSchema=True df.printSchema

但运行spark.sql后,我遇到了一些问题:

df.createorreplaceTempViewCreditable

df1=spark.sqlSELECT*来自CreditTestable LIMIT 10 df1.show

Hive 2.3.5工作正常,我可以看到表并在其中运行SQL代码,因此我认为问题来自Spark和Linux配置文件,如下所示:

spark-defaults.conf:

spark.sql.hive.metastore.version 2.3.0

spark.sql.hive.metastore.jars /usr/local/hive/lib/:/usr/local/hadoop/share/hadoop/

.bashrc配置文件:

将配置单元设置为主页导出 HIVE_HOME=/usr/local/HIVE 导出配置单元配置单元目录=/usr/local/HIVE/CONF 路径=$PATH:$HIVE\u HOME/bin 导出路径 导出HADOOP\u类路径=$HADOOP\u类路径:/usr/local/hive/lib/*

设置火花变矩器 导出SPARK\u HOME=/usr/local/SPARK 路径=$PATH:$SPARK\u HOME/bin 导出PYSPARK_PYTHON=python3导出 PYSPARK\u DRIVER\u PYTHON=jupyter导出 PYSPARK\u DRIVER\u PYTHON\u OPTS=笔记本电脑


如果您能帮我找出问题的根源,我将不胜感激。

您能解决这个问题吗?您能解决这个问题吗?