Apache spark 如何将诱惑存储保存到配置单元元存储(并在配置单元中分析)?
我使用Spark 1.3.1 如何将数据帧数据存储/保存到配置单元元存储 在配置单元中,如果我运行Apache spark 如何将诱惑存储保存到配置单元元存储(并在配置单元中分析)?,apache-spark,hive,apache-spark-sql,spark-dataframe,apache-spark-1.3,Apache Spark,Hive,Apache Spark Sql,Spark Dataframe,Apache Spark 1.3,我使用Spark 1.3.1 如何将数据帧数据存储/保存到配置单元元存储 在配置单元中,如果我运行show tables,则数据框不会在配置单元数据库中显示为表。我已将hive site.xml复制到$SPARK\u HOME/conf,但没有任何帮助(数据帧也不会出现在hive元存储中) 我遵循,使用spark 1.4版本 dataframe.registerTempTable("people") 如何在配置单元中分析spark表?您可以使用insertInto方法在配置单元中保存数据帧 例
show tables
,则数据框不会在配置单元数据库中显示为表。我已将hive site.xml
复制到$SPARK\u HOME/conf
,但没有任何帮助(数据帧也不会出现在hive元存储中)
我遵循,使用spark 1.4版本
dataframe.registerTempTable("people")
如何在配置单元中分析spark表?您可以使用
insertInto
方法在配置单元中保存数据帧
例如:
dataframe.insertInto("table_name", false);
//2nd arg is to specify if table should be overridden
找到解决办法了。我使用的是spark 1.3.1,因此它不支持所有功能。现在使用spark 1.5.1解决了这个问题。
我注意到数据帧在1.40之后完全工作。许多命令已弃用。您确定您的配置单元配置正确吗?您能够从beeline或HiveShell查询配置单元表吗?是的,如果我运行sqlContext.sql(“创建表,如果不存在天气(日期字符串、临时字符串、风字符串、大气压力字符串)”),它正在创建表。所以这不是问题。在新版本1.4+中运行与任何dataframe工作正常相同的命令也可以在spark中获取配置单元数据。