Apache spark Spark-从配置单元查询时，avro数据不可见_Apache Spark_Hive_Databricks

Apache spark Spark-从配置单元查询时，avro数据不可见

apache-spark hive

Apache spark Spark-从配置单元查询时，avro数据不可见,apache-spark,hive,databricks,Apache Spark,Hive,Databricks,我正在使用spark avro-like创建数据帧 dataframe.write.format("com.databricks.spark.avro").save(outputPath) 在我的例子中，输出路径类似于hdfs path+table\u name+partition 已在配置单元中使用AvroSerDe创建了表\u名称，其中位置设置为outputPath 但是，当我从配置单元中为表_名称选择*时，创建的数据框不可见。可能出现的问题是，.save不会更新配置单元元存储，因此新数据

我正在使用spark avro-like创建数据帧

dataframe.write.format("com.databricks.spark.avro").save(outputPath)

在我的例子中，输出路径类似于hdfs path+table\u name+partition

已在配置单元中使用AvroSerDe创建了表\u名称，其中位置设置为outputPath

但是，当我从配置单元中为表_名称选择*时，创建的数据框不可见。可能出现的问题是，

.save

不会更新配置单元元存储，因此新数据在查询中不可见

您可以尝试使用

dataframe.write（）.mode（SaveMode.Append）.partitionBy（“partition”）.saveAsTable（“table_name”）

将数据追加到您的表中。

ALTER table ADD partition修复了该问题