Google cloud storage 如何使用谷歌云存储作为Delta Lake的存储层?

Google cloud storage 如何使用谷歌云存储作为Delta Lake的存储层?,google-cloud-storage,delta-lake,Google Cloud Storage,Delta Lake,我可以使用谷歌云存储作为Delta Lake的存储层吗 在上找到。在0.5.0及以下的三角洲湖中不可能找到 有一个问题需要跟踪。请随意投票,以帮助确定优先顺序 就在谷歌发布以下消息的一天后: 我们宣布Delta Lake和Apache Iceberg(孵化)的表格格式项目现在可以在最新版本的Cloud Dataproc(1.5版预览版)中使用。您可以从今天开始使用Spark或Presto。Dataproc 1.3上也提供了Apache Hudi 在三角洲湖中不可能达到0.5.0(含0.5.0

我可以使用谷歌云存储作为Delta Lake的存储层吗



在上找到。

在0.5.0及以下的三角洲湖中不可能找到

有一个问题需要跟踪。请随意投票,以帮助确定优先顺序


就在谷歌发布以下消息的一天后:

我们宣布Delta Lake和Apache Iceberg(孵化)的表格格式项目现在可以在最新版本的Cloud Dataproc(1.5版预览版)中使用。您可以从今天开始使用Spark或Presto。Dataproc 1.3上也提供了Apache Hudi


在三角洲湖中不可能达到0.5.0(含0.5.0)

有一个问题需要跟踪。请随意投票,以帮助确定优先顺序


就在谷歌发布以下消息的一天后:

我们宣布Delta Lake和Apache Iceberg(孵化)的表格格式项目现在可以在最新版本的Cloud Dataproc(1.5版预览版)中使用。您可以从今天开始使用Spark或Presto。Dataproc 1.3上也提供了Apache Hudi


如果BigQuery被用作BI/报告/分析的服务渠道,那么就没有办法将DeltaLake表与BigQuery集成,对吗?@Ashikaumagaumagiliya,你看到了吗?这个连接器用于从Spark应用程序读取/写入BigQuery数据。但我的要求不同。假设我们使用delta lake格式创建delta、青铜和黄金层()。那么黄金层中的结果数据集需要通过BigQuery提供服务,这是不可能的,因为BQ无法读取DeltaMake文件为什么不加载这个黄金Delta表并将其保存到BigQuery?是的,这是可能的。但这会在黄金层和服务层之间增加一个额外的“装载”层吗?如果我使用Presto/StarBurst作为服务层,则不需要额外的“加载”层。好。。由于BQ是一项专有技术,我想我们不能指望“DeltaLake”格式支持,在BQ中将它们作为外部表加载。如果BigQuery用作BI/报告/分析的服务通道,那么就没有办法将DeltaLake表与BigQuery集成,对吗?@Ashikaumagaumagiliya看到了吗?此连接器用于从Spark应用程序读取/写入BigQuery数据。但我的要求不同。假设我们使用delta lake格式创建delta、青铜和黄金层()。那么黄金层中的结果数据集需要通过BigQuery提供服务,这是不可能的,因为BQ无法读取DeltaMake文件为什么不加载这个黄金Delta表并将其保存到BigQuery?是的,这是可能的。但这会在黄金层和服务层之间增加一个额外的“装载”层吗?如果我使用Presto/StarBurst作为服务层,则不需要额外的“加载”层。好。。由于BQ是一项专有技术,我们不能指望“DeltaLake”格式支持将它们作为外部表加载到BQ中。