SSIS是多个转换的更好方法

SSIS是多个转换的更好方法,ssis,dataflow,Ssis,Dataflow,我是SSIS的新手。我有一个包含1个数据流的包,但是有很多用于转换的组件,而且很难阅读。现在,我希望有3个或更多的数据流,而不是1个数据流,这样我可以分离每个转换 第一个数据流:从表中获取数据,然后执行小的转换,然后加载到临时表 第二个数据流:从临时表中获取数据,然后执行转换。截断临时表并将新数据加载到临时表 第三个数据流:再次从临时表获取数据,然后执行转换。截断临时表并再次将新数据加载到临时表 第四:数据流:等等 这是更好的方法吗?如果有比这更好的方法,请告诉我。 我正在加载100万条记录 谢

我是SSIS的新手。我有一个包含1个数据流的包,但是有很多用于转换的组件,而且很难阅读。现在,我希望有3个或更多的数据流,而不是1个数据流,这样我可以分离每个转换

第一个数据流:从表中获取数据,然后执行小的转换,然后加载到临时表

第二个数据流:从临时表中获取数据,然后执行转换。截断临时表并将新数据加载到临时表

第三个数据流:再次从临时表获取数据,然后执行转换。截断临时表并再次将新数据加载到临时表

第四:数据流:等等

这是更好的方法吗?如果有比这更好的方法,请告诉我。 我正在加载100万条记录


谢谢大家!

更好的方法是用存储过程替换第二、第三等数据流,以便在表中进行转换。数据流不能使用同一个表作为源和目标,并在过程中使用截断。

Better是一个非常通用的术语。如果拥有多个数据流更容易理解和维护,那当然更好。但是,需要维护多个暂存表可能需要很多工作。总之,维护和性能是“更好”的好标准。请记住,如果每个数据流需要等待前一个数据流完成,如果您在每个步骤中填充暂存表,那么它确实需要等待,这将花费比需要更长的时间。您可能可以在没有任何暂存表的情况下完成整个过程。您应该试验并发现自己我想将数据加载到对象变量,然后使用脚本源组件将其用作源。在脚本中,它实际上是从该变量中逐个读取并输出它。这是个好主意吗?这是基于我的研究。如果这是个好主意,我就实施。谢谢在我看来,当您需要在SSI中使用脚本和对象变量时,您可能使用了错误的工具。同样,这是一个缓慢的方法,但你需要自己实验去发现。如果不知道你想做什么,我真的无法进一步评论。很有可能只需要一些T-SQL就可以完成所有需要的操作。这对我来说是一个理想的解决方案,但是如果你对C语言比T语言更熟悉的话,这可能不是一个理想的解决方案。我对tsql很满意,所以我会把它放在存储过程中,我会尝试这种方法。谢谢