Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/ssis/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Ssis 使用原始文件丢失数据流中的数据_Ssis_Ssis 2016 - Fatal编程技术网

Ssis 使用原始文件丢失数据流中的数据

Ssis 使用原始文件丢失数据流中的数据,ssis,ssis-2016,Ssis,Ssis 2016,我将数据流任务与原始文件源和OLE DB目标(mssql表)一起使用。我发现在这个加载过程中,我丢失了用原始文件编写的大部分数据行 我使用行计数转换来查找原始文件中的行数。我发现文件原始计数总是正常的(>1mln行),但在某些执行中,目标表中只有50k-90k行,但在某些情况下,数据加载正常(>1mln行),并且与文件行计数匹配 此外,当我得到少量行并重新执行包时,它会生成此文件并在目标表中加载数据—一切正常,所有行都会加载到目标表中 数据访问模式=“表格或视图-快速加载” SSIS 2016

我将数据流任务与原始文件源和OLE DB目标(mssql表)一起使用。我发现在这个加载过程中,我丢失了用原始文件编写的大部分数据行

我使用行计数转换来查找原始文件中的行数。我发现文件原始计数总是正常的(>1mln行),但在某些执行中,目标表中只有50k-90k行,但在某些情况下,数据加载正常(>1mln行),并且与文件行计数匹配

此外,当我得到少量行并重新执行包时,它会生成此文件并在目标表中加载数据—一切正常,所有行都会加载到目标表中

数据访问模式=“表格或视图-快速加载” SSIS 2016

有什么想法吗?我对本案例的非静态行为感到困惑:(

控制流看起来像


是的,这种行为听起来不正确。有趣的是,运行2倍,它得到了正确的计数。张贴一张创建和使用原始文件的控制流和数据流的图片,新来者无法访问图像,因此唯一的机会是通过链接DF“导出会话”\u IOS通过CData BigQuery连接器将数据加载到原始文件。DF“calc rows”将原始文件行数保存到变量中。DF“save row count”将此变量写入日志表。如果rowcount variable>constant,则DF“load sessions IOS stg”将运行数据并将数据从原始文件加载到目标表。如果不是,则执行脚本任务“raise pkg error”抛出pkg error以导致其在作业中的下一次运行尝试。谢谢,这张图片非常有用,我已将其添加到问题中。原始文件名构建在步骤2的表达式任务中。然后,您可以创建“按日期循环”的循环容器(有什么标准?)如果迭代次数超过1次,这是否会影响原始文件名?此内部容器中的第二步是创建原始文件的位置。是否会遇到循环与文件中的值混淆的问题?最后一步是删除原始文件,但是否始终创建一个文件?如果它“引发pkg错误”是的,这种行为听起来是不正确的。有趣的是,运行它2次,它得到了正确的计数。张贴一张你创建和使用原始文件的控制流和数据流的图片。新来者不能访问图像,所以唯一的机会是通过链接DF“导出会话”\u IOS通过CData BigQuery连接器将数据加载到原始文件。DF“calc rows”将原始文件行数保存到变量中。DF“save row count”将此变量写入日志表。如果rowcount variable>constant,则DF“load sessions IOS stg”将运行数据并将数据从原始文件加载到目标表。如果不是,则执行脚本任务“raise pkg error”抛出pkg error以导致其在作业中的下一次运行尝试。谢谢,这张图片非常有用,我已将其添加到问题中。原始文件名构建在步骤2的表达式任务中。然后,您可以创建“按日期循环”的循环容器(有什么标准?)如果迭代次数超过1次,这是否会影响原始文件名?此内部容器中的第二步是创建原始文件的位置。是否会遇到循环与文件中的值混淆的问题?最后一步是删除原始文件,但是否始终创建一个文件?如果它“引发pkg错误”,是否确实存在错误,因此文件仍然存在?