Python-Spark-HiveContext-Can';我找不到桌子
我正在使用Spark 1.6.0版本的虚拟机,并尝试使用Hive中的dat创建一个数据帧 默认数据库中有2个表,但当我尝试使用Spark显示所有表时,没有得到任何结果:Python-Spark-HiveContext-Can';我找不到桌子,python,apache-spark,hive,Python,Apache Spark,Hive,我正在使用Spark 1.6.0版本的虚拟机,并尝试使用Hive中的dat创建一个数据帧 默认数据库中有2个表,但当我尝试使用Spark显示所有表时,没有得到任何结果: sqlContext.sql("show tables").collect() [] sqlContext.sql("show databases").collect() [Row(result=u'default')] 我的配置单元表是直接在默认数据库上的配置单元上创建的: CREATE TABLE team (id INT
sqlContext.sql("show tables").collect()
[]
sqlContext.sql("show databases").collect()
[Row(result=u'default')]
我的配置单元表是直接在默认数据库上的配置单元上创建的:
CREATE TABLE team
(id INT, sports STRING, players INT)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ","
LOCATION "/user/cloudera/data/sports";
为什么我看不见我的桌子
谢谢 您应该将hive-site.xml文件复制到spark conf目录。您使用的是
HiveContext
?是的,spark将HiveContext创建为sqlContext。请参考您是否可以尝试sqlContext.sql(“默认显示表格”).show()
@GaurangShah it retuns“原因:错误XJ040:无法使用类加载器org.apache.spark.sql.hive.client.IsolatedClient loader$$anon启动数据库'metastore_db'$1@2dd31aac,有关详细信息,请参阅下一个异常。“