Sql server SSIS:“;“增量”;进口?

Sql server SSIS:“;“增量”;进口?,sql-server,import,ssis,synchronization,Sql Server,Import,Ssis,Synchronization,我必须实现一个processus,加载三个不同的数据库,转换数据并将其结果加载到一个新的SQL数据库中 我想到了SSIS(SQL server的集成服务)。这对我来说是完美的,但是:这个processus将在6-8个月内每晚运行。它必须只导入更改 我不知道我是否能用SSIS做到这一点 有大量数据要导入,因此我们希望这些数据以增量方式更新(基于源数据库上的“ModifiedAt”列) 因此: 这是否可能(增量导入),如何实现 如果是:什么是安排每天的最佳方式 如果否:您能看到另一种方法吗?我不必从

我必须实现一个processus,加载三个不同的数据库,转换数据并将其结果加载到一个新的SQL数据库中

我想到了SSIS(SQL server的集成服务)。这对我来说是完美的,但是:这个processus将在6-8个月内每晚运行。它必须只导入更改

我不知道我是否能用SSIS做到这一点

有大量数据要导入,因此我们希望这些数据以增量方式更新(基于源数据库上的“ModifiedAt”列)

因此:

  • 这是否可能(增量导入),如何实现
  • 如果是:什么是安排每天的最佳方式
  • 如果否:您能看到另一种方法吗?我不必从头开始编程

  • 是的,@andyLeonard有一个优秀的系列,名为“我经常在答案中引用这一系列文章”,因为它比试图将SSIS标签积累的智慧串在一个答案中要简洁得多。在这一系列文章中,Andy将引导您了解增量加载模式的各种情况。我认为这将使你们对如何构建你们的进口产品有一些清晰的认识

    您可以使用组织当前使用的任何调度工具来调度SSIS包

    • SQL代理—SQL Server的内置调度工具是组织的常用选项。很可能您的DBA已经在使用它来处理索引重建/重组等事务的调度。使用代理的另一个好处是,对于新手来说,它有一个专门为运行SSIS包而构建的步骤。并不是说启动SSIS包那么复杂,但每一点都有帮助。

    • Windows调度程序-Windows内置了一个可维护的调度程序(我想不起这个名字,
      at
      maybe?)。如果您使用这种方法,我可能会建议您创建一个简单的批处理脚本来启动包,这样您就可以确保手动启动包与调度程序运行的包相同

    • 在我所在的地方,我们使用TIDAD来处理所有的工作安排。这并不便宜,但在我们试图跨大型机、unix和windows环境协调活动的环境中,这是最重要的。接口是一个可怕的java东西,我希望看到它在几次火灾中死去,但不要让它分散你对工具功能的注意力


    谢谢,我一定会读这篇文章(星期一,我有紧急干预要做)。非常感谢。