Python Spark SQL无法输出数据帧
我尝试运行以下代码,但无法获得结果,错误消息如下所示:Python Spark SQL无法输出数据帧,python,pyspark,hive,apache-spark-sql,pyspark-dataframes,Python,Pyspark,Hive,Apache Spark Sql,Pyspark Dataframes,我尝试运行以下代码,但无法获得结果,错误消息如下所示: from pyspark.sql import SparkSession spark = SparkSession.builder.appName('hive').enableHiveSupport().getOrCreate() list = spark.read.format("csv").option("header", "true").load(r"mypath
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('hive').enableHiveSupport().getOrCreate()
list = spark.read.format("csv").option("header", "true").load(r"mypath/mydata.csv")
list.createOrReplaceTempView("mydata")
df = spark.sql("""select * from mydata""")
错误信息:
Traceback (most recent call last):
File "<ipython-input-31-61851d7298cc>", line 1, in <module>
df = spark.sql("""select * from mydata""")
File "C:\ProgramData\Anaconda3\lib\site-packages\pyspark\sql\session.py", line 767, in sql
return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
File "C:\ProgramData\Anaconda3\lib\site-packages\py4j\java_gateway.py", line 1257, in __call__
answer, self.gateway_client, self.target_id, self.name)
File "C:\ProgramData\Anaconda3\lib\site-packages\pyspark\sql\utils.py", line 69, in deco
raise AnalysisException(s.split(': ', 1)[1], stackTrace)
AnalysisException: 'java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'
回溯(最近一次呼叫最后一次):
文件“”,第1行,在
df=spark.sql(“从mydata中选择*”)
文件“C:\ProgramData\Anaconda3\lib\site packages\pyspark\sql\session.py”,第767行,sql格式
返回数据帧(self.\u jsparkSession.sql(sqlQuery),self.\u包装)
文件“C:\ProgramData\Anaconda3\lib\site packages\py4j\java\u gateway.py”,第1257行,在调用中__
回答,self.gateway\u客户端,self.target\u id,self.name)
文件“C:\ProgramData\Anaconda3\lib\site packages\pyspark\sql\utils.py”,第69行,deco格式
引发分析异常(s.split(“:”,1)[1],stackTrace)
AnalysisException:'java.lang.RuntimeException:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient;'
如果有人能帮我解决这个问题,我将Spyder与Python3.7结合使用
谢谢大家! 如果不使用EnableHiveSupplt,请删除它
spark = SparkSession.builder.appName('hive').getOrCreate()
如果未使用启用HIVESUPPRT,请将其删除
spark = SparkSession.builder.appName('hive').getOrCreate()
尝试不使用
启用HiveSupport
spark=SparkSession.builder.appName('hive')。getOrCreate()它可以工作,谢谢@Shutry而不使用启用HiveSupport
spark=SparkSession.builder.appName('hive')。getOrCreate()它可以工作,谢谢@Shu