Sql server SSIS:“;“增量”;进口?
我必须实现一个processus,加载三个不同的数据库,转换数据并将其结果加载到一个新的SQL数据库中 我想到了SSIS(SQL server的集成服务)。这对我来说是完美的,但是:这个processus将在6-8个月内每晚运行。它必须只导入更改 我不知道我是否能用SSIS做到这一点 有大量数据要导入,因此我们希望这些数据以增量方式更新(基于源数据库上的“ModifiedAt”列) 因此:Sql server SSIS:“;“增量”;进口?,sql-server,import,ssis,synchronization,Sql Server,Import,Ssis,Synchronization,我必须实现一个processus,加载三个不同的数据库,转换数据并将其结果加载到一个新的SQL数据库中 我想到了SSIS(SQL server的集成服务)。这对我来说是完美的,但是:这个processus将在6-8个月内每晚运行。它必须只导入更改 我不知道我是否能用SSIS做到这一点 有大量数据要导入,因此我们希望这些数据以增量方式更新(基于源数据库上的“ModifiedAt”列) 因此: 这是否可能(增量导入),如何实现 如果是:什么是安排每天的最佳方式 如果否:您能看到另一种方法吗?我不必从
是的,@andyLeonard有一个优秀的系列,名为“我经常在答案中引用这一系列文章”,因为它比试图将SSIS标签积累的智慧串在一个答案中要简洁得多。在这一系列文章中,Andy将引导您了解增量加载模式的各种情况。我认为这将使你们对如何构建你们的进口产品有一些清晰的认识 您可以使用组织当前使用的任何调度工具来调度SSIS包
- SQL代理—SQL Server的内置调度工具是组织的常用选项。很可能您的DBA已经在使用它来处理索引重建/重组等事务的调度。使用代理的另一个好处是,对于新手来说,它有一个专门为运行SSIS包而构建的步骤。并不是说启动SSIS包那么复杂,但每一点都有帮助。
- Windows调度程序-Windows内置了一个可维护的调度程序(我想不起这个名字,
maybe?)。如果您使用这种方法,我可能会建议您创建一个简单的批处理脚本来启动包,这样您就可以确保手动启动包与调度程序运行的包相同at
- 在我所在的地方,我们使用TIDAD来处理所有的工作安排。这并不便宜,但在我们试图跨大型机、unix和windows环境协调活动的环境中,这是最重要的。接口是一个可怕的java东西,我希望看到它在几次火灾中死去,但不要让它分散你对工具功能的注意力