Apache spark 未找到火花温度表
出于测试目的,我正在尝试使用自定义输入运行pySpark作业。 该作业有三组输入,每个输入从不同元存储数据库中的表中读取 数据在spark中读取时使用:Apache spark 未找到火花温度表,apache-spark,pyspark,apache-spark-1.6,hive-metastore,Apache Spark,Pyspark,Apache Spark 1.6,Hive Metastore,出于测试目的,我正在尝试使用自定义输入运行pySpark作业。 该作业有三组输入,每个输入从不同元存储数据库中的表中读取 数据在spark中读取时使用:hiveContext.table('myDb.myTable') 测试输入是三个文件。为了不改变任何原始代码,我将所有三个输入读取到DataFrames中,并尝试使用myDF.registerTempTable('myDb.myTable')注册临时表 问题是spark在org.apache.spark.sql.catalyst.analysi
hiveContext.table('myDb.myTable')
测试输入是三个文件。为了不改变任何原始代码,我将所有三个输入读取到DataFrame
s中,并尝试使用myDF.registerTempTable('myDb.myTable')
注册临时表
问题是spark在org.apache.spark.sql.catalyst.analysis.NoSuchTableException
中失败
我也试过:
hiveContext.sql('create database if not exists myDb')
hiveContext.sql('use myDb')
myDF.registerTempTable('myTable')
但这也失败了
知道为什么找不到这张桌子吗
使用Spark 1.6我认为问题在于
。我在我的机器(Spark 2.1)上尝试了类似的方法,得到了AnalysisException:u'不允许为临时视图名称添加数据库前缀'myDb'代码>@pault我同意。我见过类似的行为。在这种情况下,如何在特定的数据库中注册表?好吧,我想你不能。很遗憾,我认为您在修改原始代码时遇到了困难:-(您是否尝试过使用反勾号'as myDF.registerTempTable('myDb.myTable'))但不需要空间。@RameshMaharjan,同样的问题。NoSuchTableException