Apache spark Spark-从配置单元查询时，avro数据不可见

我正在使用spark avro-like创建数据帧

dataframe.write.format("com.databricks.spark.avro").save(outputPath)

在我的例子中，输出路径类似于hdfs path+table\u name+partition

已在配置单元中使用AvroSerDe创建了表\u名称，其中位置设置为outputPath

---

但是，当我从配置单元中为表_名称选择*时，创建的数据框不可见。可能出现的问题是，

.save

不会更新配置单元元存储，因此新数据在查询中不可见

---

您可以尝试使用

dataframe.write（）.mode（SaveMode.Append）.partitionBy（“partition”）.saveAsTable（“table_name”）

将数据追加到您的表中。

ALTER table ADD partition修复了该问题