优化ssis中数据的最佳方法

优化ssis中数据的最佳方法,ssis,ssis-2008,Ssis,Ssis 2008,我有一个包含数百万条记录的文本文件,必须提取并更新到某个暂存表 现在的问题是,我们没有任何文本限定符来分隔其他列。我的列delimeter是,我有一些字段,比如address,可能有一些,。我使用的是2008版,我知道应该有20列 在进行任何转换之前,即从文本文件中提取数据时,我必须处理此问题。请让我知道一些处理此类数据的最佳方法。我在这里被难住了,需要一些帮助 提前谢谢 也许您可以拒绝任何超过20列的记录,并将它们重定向到错误文件。然后,您可以处理剩余的记录。谢谢DeanOC,这似乎是一个好主

我有一个包含数百万条记录的文本文件,必须提取并更新到某个暂存表

现在的问题是,我们没有任何文本限定符来分隔其他列。我的列delimeter是,我有一些字段,比如address,可能有一些,。我使用的是2008版,我知道应该有20列

在进行任何转换之前,即从文本文件中提取数据时,我必须处理此问题。请让我知道一些处理此类数据的最佳方法。我在这里被难住了,需要一些帮助


提前谢谢

也许您可以拒绝任何超过20列的记录,并将它们重定向到错误文件。然后,您可以处理剩余的记录。谢谢DeanOC,这似乎是一个好主意我也有一些想法。说我可以请求客户把地址字段放在最后一个字段上,我不会考虑任何列的分度表。我可以这样做吗?如果是,那么请建议我怎么做?这可能是可能的,但您将无法读取以逗号分隔的文本文件。您必须完整地阅读每一行,然后使用脚本组件来解析该行。如果客户机可以更改文件,那么如果客户机可以将其分隔符更改为管道字符或其他未显示在值中的字符,对您来说会容易得多