Apache spark SPARK 1.6插入现有配置单元表(非分区)

Apache spark SPARK 1.6插入现有配置单元表(非分区),apache-spark,hive,Apache Spark,Hive,假设我可以让下面这些单例插入语句像另一个堆栈溢出问题一样工作(谢谢),那么 如果要从已注册为临时表的SPARK DF向已存在的配置单元表执行插入选择,该怎么办?我似乎无法让它工作。事实上可能吗 使用1.6火花。不想创建一个CTA表,而是按照上述方法插入,但批量插入,例如 sqlContext.sql("INSERT INTO TABLE default.ged_555 SELECT t.* FROM mytempTable t") 据我所知,您希望在中插入一些数据 e360\u models.

假设我可以让下面这些单例插入语句像另一个堆栈溢出问题一样工作(谢谢),那么

如果要从已注册为临时表的SPARK DF向已存在的配置单元表执行插入选择,该怎么办?我似乎无法让它工作。事实上可能吗

使用1.6火花。不想创建一个CTA表,而是按照上述方法插入,但批量插入,例如

sqlContext.sql("INSERT INTO TABLE default.ged_555 SELECT t.* FROM mytempTable t")
据我所知,您希望在中插入一些数据
e360\u models.employee
,然后选择一些列和 再次插入到
default.ged_555
,并且您不想进行CTA 准备来自e360\U模型的数据帧。员工,然后执行以下操作


如果您对CTA不感兴趣,请参阅下面的方法。除了没有插入任何内容外,所有方法都有效,但没有错误。对不起!我没有看到这条消息。。在下面的回答中写入.mode之前,您是否可以打印df.show(),以便我们可以验证数据是否存在于df中。如果它在那里,它也应该插入。因为你说没有错误,没有插入,我更新了下面的代码,请检查。另外,请添加@myname以通知我,否则我将不会收到通知。谢谢val dataframe=sqlContext.sql(“从MyTestable中选择*);org.apache.spark.sql.AnalysisException:未找到表:MyTestable;第1行pos 14Am在cloudera VM quickstart上获得上述信息,databricks似乎更好,不确定该怎么想MyTestable只是一个例子。在此之前,你需要注册!如果我正确理解了您的要求,那么您不需要CTA,您正在寻找另一种方法。这个问题有点不清楚。你能详细说明一下吗?什么是e360_models.employee&什么是default.ged_555是的,我已经注册了,但我认为我缺少SQL和配置单元上下文,可能有点错误。让我查一下
sqlContext.sql("INSERT INTO TABLE default.ged_555 SELECT t.* FROM mytempTable t")
// since you are using hive I used hiveContext below... 
 val dataframe = hiveContext.sql("select * from e360_models.employee ");

df.show(10) // to verify whether data is there in dataframe or not



df.printSchema(); // print schema as well for debug purpose.
    dataframe.write.mode(SaveMode.OverWrite).insertInto("default.ged_555")

val sampleDataFrame = hiveContext.sql("select * from default.get_555");

// again do print 10 records to verify your result for debug purpose
sampleDataFrame.show()
// again print schema of the target table
sampleDataFrame.printSchema()