从ApacheSpark将Java RDD写入配置单元模式

从ApacheSpark将Java RDD写入配置单元模式,java,hive,apache-spark,rdd,Java,Hive,Apache Spark,Rdd,我们有一个Java Apache Spark应用程序,提交给Thread。我们希望将所有已处理的数据加载到配置单元架构中。从ApacheSpark文档来看,将RDD写入HDFS文件并将其加载到Hive中就像是解决方案 有更好的方法吗?Spark SQL可以与Hive进行互操作。看见它可以创建配置单元表。我不知道它是否可以将RDD数据放入配置单元表中。如果可以的话,这肯定是一件有用的事情!所以我将我的JavaRDD序列化为JavaRDD json。将该文件保存在hdfs中,并将其加载到配置单元表中

我们有一个Java Apache Spark应用程序,提交给Thread。我们希望将所有已处理的数据加载到配置单元架构中。从ApacheSpark文档来看,将RDD写入HDFS文件并将其加载到Hive中就像是解决方案


有更好的方法吗?

Spark SQL可以与Hive进行互操作。看见它可以创建配置单元表。我不知道它是否可以将RDD数据放入配置单元表中。如果可以的话,这肯定是一件有用的事情!所以我将我的JavaRDD序列化为JavaRDD json。将该文件保存在hdfs中,并将其加载到配置单元表中。