Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 是否可以在spark中插入临时表?_Apache Spark_Temporary - Fatal编程技术网

Apache spark 是否可以在spark中插入临时表?

Apache spark 是否可以在spark中插入临时表?,apache-spark,temporary,Apache Spark,Temporary,我使用Apache Spark 2.4中的Databricks测试了以下查询: %sql 创建临时视图临时视图 选择1为否,“aaa”为str; 在临时视图中插入值2,'bbb'; 然后我收到了这个错误信息 SQL语句中出错:AnalysisException:不允许插入到基于RDD的表中。;; '插入表项目[1作为编号824,aaa作为str825],假,假 +-LocalRelation[col1831,col2832] 我的问题是 是否无法在spark中插入临时表? 如何在spark sq

我使用Apache Spark 2.4中的Databricks测试了以下查询:

%sql 创建临时视图临时视图 选择1为否,“aaa”为str; 在临时视图中插入值2,'bbb'; 然后我收到了这个错误信息

SQL语句中出错:AnalysisException:不允许插入到基于RDD的表中。;; '插入表项目[1作为编号824,aaa作为str825],假,假 +-LocalRelation[col1831,col2832]

我的问题是

是否无法在spark中插入临时表? 如何在spark sql中创建临时数据? 谢谢。

我们无法将数据插入临时表,但我们可以使用union all或union模拟插入以删除重复项

例如:

我们不能将数据插入到临时表中,但我们可以使用union all或union模拟插入来删除重复项

例如:


是的,您可以插入临时视图,但它必须基于文件中的df构建。然后新行将另存为存储上的separte文件

比如说

df.read.parquet(path).createOrReplaceTempView('temp')

spark.sql("INSERT INTO temp VALUES (....)")

是的,您可以插入临时视图,但它必须基于文件中的df构建。然后新行将另存为存储上的separte文件

比如说

df.read.parquet(path).createOrReplaceTempView('temp')

spark.sql("INSERT INTO temp VALUES (....)")

请在你的回答中给予适当的解释和评论,使其与问题的OP相关。请在你的回答中给予适当的解释和评论,使其与问题的OP相关。