Apache spark 配置单元表是从spark创建的,但在配置单元中不可见
从spark使用:Apache spark 配置单元表是从spark创建的,但在配置单元中不可见,apache-spark,hive,hiveql,hivecontext,Apache Spark,Hive,Hiveql,Hivecontext,从spark使用: DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName") 正在保存表,我可以使用下面命令的hadoopfs-ls/apps/hive/warehouse\test.db'查看,其中test是我的数据库名称 drwxr-xr-x-psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName
DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")
正在保存表,我可以使用下面命令的hadoopfs-ls/apps/hive/warehouse\test.db'
查看,其中test
是我的数据库名称
drwxr-xr-x-psudhir hdfs 0 2016-01-04 05:02
/apps/hive/warehouse/test.db/myTableName
但是,当我试图检查配置单元中的表时,我也无法使用hiveContext中的命令
SHOW tables
查看它们。我认为您需要运行使元数据无效在配置单元控制台中编写>以刷新数据库并查看新表。您必须将配置单元站点.xml文件(我的位于/etc/hive/conf.dist/hive site.xml)复制到Spark conf文件夹(我的位于/etc/Spark/conf/)
重新启动Spark,它应该会工作
sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/
这在Cloudera quick start虚拟机中对我很有效。这是一个内部表吗?/或者你提到了一些我不知道的外部表,“myTableName”是新表名,很抱歉,我使用了SaveMode.Ignore和SaveMode.Errorifxists创建新表您的配置单元配置文件的内容是什么?你能从星火蜂箱的桌子上看到吗?
sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/