SSIS暂存截断仓库
我们每天都以excel格式获取数据,然后将数据加载到staging中,然后转到SSIS包 并以excel作为连接管理器,进行转换,将数据移动到仓库。 既然我们只从excel中获取数据,那么为什么要创建一个阶段并截断它呢, 既然我们把excel作为源代码,所有的操作都是用它来完成的?能找个人吗 解释实时场景?我看过很多网站,不明白这个概念是怎么回事 暂存、源(excel)、查找目标(仓库)SSIS暂存截断仓库,ssis,lookup,truncate,staging,warehouse,Ssis,Lookup,Truncate,Staging,Warehouse,我们每天都以excel格式获取数据,然后将数据加载到staging中,然后转到SSIS包 并以excel作为连接管理器,进行转换,将数据移动到仓库。 既然我们只从excel中获取数据,那么为什么要创建一个阶段并截断它呢, 既然我们把excel作为源代码,所有的操作都是用它来完成的?能找个人吗 解释实时场景?我看过很多网站,不明白这个概念是怎么回事 暂存、源(excel)、查找目标(仓库) 既然一切都只在SSIS包中完成,为什么要创建到stage?staging区域主要用于从其数据源中快速提取数据
既然一切都只在SSIS包中完成,为什么要创建到stage?staging区域主要用于从其数据源中快速提取数据,将数据源的影响降至最低。将数据加载到临时区域后,临时区域用于组合来自多个数据源、转换、验证和数据清理的数据 您可以使用:
- 增量荷载
- 截断插入
- 使用带HashBytes的分隔符进行更改检测
您可以了解源(Excel)文件是否包含以前加载到仓库中的数据行?基本上,您是否会根据DW中的行跟踪更改?Excel是一个不足以直接插入到最终表的可靠源。事实上,这种情况很少发生——登台模式非常常见登台环境还允许您将转换逻辑封装在存储过程中,无需更改SSIS包即可对存储过程进行修改。这还降低了SSIS包的复杂性,使其只关注导入数据和运行stord过程。在大型项目中,利用这样的模式可以节省大量时间。