Apache spark 配置单元表是从spark创建的,但在配置单元中不可见

Apache spark 配置单元表是从spark创建的,但在配置单元中不可见,apache-spark,hive,hiveql,hivecontext,Apache Spark,Hive,Hiveql,Hivecontext,从spark使用: DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName") 正在保存表,我可以使用下面命令的hadoopfs-ls/apps/hive/warehouse\test.db'查看,其中test是我的数据库名称 drwxr-xr-x-psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName

从spark使用:

DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")
正在保存表,我可以使用下面命令的hadoop
fs-ls/apps/hive/warehouse\test.db'
查看,其中
test
是我的数据库名称

drwxr-xr-x-psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName


但是,当我试图检查配置单元中的表时,我也无法使用hiveContext中的命令
SHOW tables
查看它们。

我认为您需要运行
使元数据无效以刷新数据库并查看新表。

您必须将配置单元站点.xml文件(我的位于/etc/hive/conf.dist/hive site.xml)复制到Spark conf文件夹(我的位于/etc/Spark/conf/)

重新启动Spark,它应该会工作

sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

这在Cloudera quick start虚拟机中对我很有效。

这是一个内部表吗?/或者你提到了一些我不知道的外部表,“myTableName”是新表名,很抱歉,我使用了SaveMode.Ignore和SaveMode.Errorifxists创建新表您的配置单元配置文件的内容是什么?你能从星火蜂箱的桌子上看到吗?
sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/