Apache spark 配置单元能否从Delta lake文件格式读取数据?

Apache spark 配置单元能否从Delta lake文件格式读取数据?,apache-spark,hive,Apache Spark,Hive,我开始研究DELTA LAKE文件格式,hive是否能够从这个新引入的DELTA文件格式中读取数据?如果可以,请告诉我您使用的serde。配置单元支持以Delta Lake文件格式提供。第一步是在我们的蜂巢路径中添加来自的jar。然后使用以下格式创建一个表。 创建外部表test.dl\u尝试\u流 ... 由'io.delta.hive.DeltaStorageHandler'存储 位置 默认情况下,Delta格式选择分区,所以在创建表时不需要提及分区 注意:如果数据是通过Spark作业插入的,

我开始研究DELTA LAKE文件格式,hive是否能够从这个新引入的DELTA文件格式中读取数据?如果可以,请告诉我您使用的serde。

配置单元支持以Delta Lake文件格式提供。第一步是在我们的蜂巢路径中添加来自的jar。然后使用以下格式创建一个表。 创建外部表test.dl\u尝试\u流 ... 由'io.delta.hive.DeltaStorageHandler'存储 位置

默认情况下,Delta格式选择分区,所以在创建表时不需要提及分区

注意:如果数据是通过Spark作业插入的,请提供hive-site.xml,并在Spark作业中启用HiveSupport,以在配置单元中创建Delta Lake表


Delta Lake中的所有数据都以Apache拼花格式存储,Hive为此提供了一个插件,更多信息请参阅本期的自述: