使用polybase更新Azure SQL数据仓库中的更改

使用polybase更新Azure SQL数据仓库中的更改,sql,azure,polybase,warehouse,Sql,Azure,Polybase,Warehouse,我需要有关Azure SQL数据仓库的帮助,我正在使用Polybase将数据从Azure Data Lake Storage Gen2迁移到Azure SQL DW。当我们第一次将数据加载到DW中时,没有问题。但当我们再次加载数据/增量加载时,我们如何上传数据 我们使用的流量 ASDL2->(polybase)->外部表->(CTAS)->暂存表->(转换)->维度表 每次数据更改时,我们都会将数据重新加载到ASDL2, 向上插入数据的最佳方式是什么?或者我们也应该将数据重新加载到SQLDW中?

我需要有关Azure SQL数据仓库的帮助,我正在使用Polybase将数据从Azure Data Lake Storage Gen2迁移到Azure SQL DW。当我们第一次将数据加载到DW中时,没有问题。但当我们再次加载数据/增量加载时,我们如何上传数据

我们使用的流量

ASDL2->(polybase)->外部表->(CTAS)->暂存表->(转换)->维度表

每次数据更改时,我们都会将数据重新加载到ASDL2,
向上插入数据的最佳方式是什么?或者我们也应该将数据重新加载到SQLDW中?

因为Azure data Warehouse不支持这种方式,所以您需要使用其他方式将数据从外部表加载到后台表。PolyBase可用于将初始数据和增量数据加载到外部表架构,但这是执行加载到临时表的方式

以下是关于如何部署此解决方案的精彩教程:

一旦数据通过ADFv2管道中的PolyBase加载到外部表,就会调用触发器来执行ADWH中的sp,以执行对暂存表的加载