Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何将诱惑存储保存到配置单元元存储(并在配置单元中分析)?_Apache Spark_Hive_Apache Spark Sql_Spark Dataframe_Apache Spark 1.3 - Fatal编程技术网

Apache spark 如何将诱惑存储保存到配置单元元存储(并在配置单元中分析)?

Apache spark 如何将诱惑存储保存到配置单元元存储(并在配置单元中分析)?,apache-spark,hive,apache-spark-sql,spark-dataframe,apache-spark-1.3,Apache Spark,Hive,Apache Spark Sql,Spark Dataframe,Apache Spark 1.3,我使用Spark 1.3.1 如何将数据帧数据存储/保存到配置单元元存储 在配置单元中,如果我运行show tables,则数据框不会在配置单元数据库中显示为表。我已将hive site.xml复制到$SPARK\u HOME/conf,但没有任何帮助(数据帧也不会出现在hive元存储中) 我遵循,使用spark 1.4版本 dataframe.registerTempTable("people") 如何在配置单元中分析spark表?您可以使用insertInto方法在配置单元中保存数据帧 例

我使用Spark 1.3.1

如何将数据帧数据存储/保存到配置单元元存储

在配置单元中,如果我运行
show tables
,则数据框不会在配置单元数据库中显示为表。我已将
hive site.xml
复制到
$SPARK\u HOME/conf
,但没有任何帮助(数据帧也不会出现在hive元存储中)

我遵循,使用spark 1.4版本

dataframe.registerTempTable("people")

如何在配置单元中分析spark表?

您可以使用
insertInto
方法在配置单元中保存数据帧

例如:

dataframe.insertInto("table_name", false);
//2nd arg is to specify if table should be overridden

找到解决办法了。我使用的是spark 1.3.1,因此它不支持所有功能。现在使用spark 1.5.1解决了这个问题。
我注意到数据帧在1.40之后完全工作。许多命令已弃用。

您确定您的配置单元配置正确吗?您能够从beeline或HiveShell查询配置单元表吗?是的,如果我运行sqlContext.sql(“创建表,如果不存在天气(日期字符串、临时字符串、风字符串、大气压力字符串)”),它正在创建表。所以这不是问题。在新版本1.4+中运行与任何dataframe工作正常相同的命令也可以在spark中获取配置单元数据。