Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/sql-server/21.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Sql server 计算清理了多少字段以及SSI上的哪些字段_Sql Server_Ssis_Etl_Sql Server Data Tools - Fatal编程技术网

Sql server 计算清理了多少字段以及SSI上的哪些字段

Sql server 计算清理了多少字段以及SSI上的哪些字段,sql-server,ssis,etl,sql-server-data-tools,Sql Server,Ssis,Etl,Sql Server Data Tools,我正在做一个练习,在这个练习中,我必须从平面文件源中清理数据并将其写入数据库。我已经通过为每个字段使用一些数据质量规则来清理所有字段,并且还生成了错误代码,当规则被破坏时,我会将这些错误代码写入不同的表中 我的问题是,在练习的最后一步,我必须生成一些Power BI图形,其中显示有多少字段是从源固定的,哪些字段是清理的。我唯一想到的是将DB表与平面文件源代码进行比较,或者使用脚本组件进行一些操作,但我并不认为这些是真正好的解决方案 有人遇到过这个问题吗?如果有人能为我指出这样的信息,那就太好了。

我正在做一个练习,在这个练习中,我必须从平面文件源中清理数据并将其写入数据库。我已经通过为每个字段使用一些数据质量规则来清理所有字段,并且还生成了错误代码,当规则被破坏时,我会将这些错误代码写入不同的表中

我的问题是,在练习的最后一步,我必须生成一些Power BI图形,其中显示有多少字段是从源固定的,哪些字段是清理的。我唯一想到的是将DB表与平面文件源代码进行比较,或者使用脚本组件进行一些操作,但我并不认为这些是真正好的解决方案


有人遇到过这个问题吗?如果有人能为我指出这样的信息,那就太好了。谢谢

如果我面临类似的问题,我将分三步进行:

  • 在不进行任何转换的情况下将数据导入临时表
  • 清理数据并将其加载到目标表中
  • 比较staging表和destination表以获得固定值的数量

  • 如果我面临类似问题,我将分三步进行:

  • 在不进行任何转换的情况下将数据导入临时表
  • 清理数据并将其加载到目标表中
  • 比较staging表和destination表以获得固定值的数量

  • 从设计的角度来看,在开始清洁之前,建立一个关键点

    Use可以使用SSIS派生的列转换来创建业务密钥,该密钥是可用字段的串联,以使用FindString函数和string函数创建唯一密钥


    与上述步骤类似,在临时表中添加一列或使用派生列(取决于您是使用sql清理还是ssis任务进行清理)指示是否已清理该列

    从设计的角度来看-在开始清洁之前,建立一个关键点

    Use可以使用SSIS派生的列转换来创建业务密钥,该密钥是可用字段的串联,以使用FindString函数和string函数创建唯一密钥


    与上述步骤类似,在临时表中添加一列或使用派生列(取决于您是使用sql清理还是ssis任务进行清理)指示是否已清理该列

    这似乎是一个很好的解决方案,但现在我有另一个疑问。你如何比较这两张表?使用存储过程之类的东西?或者SSIS中的某个东西?@bojackhorseman99您必须为每个列编写一个查询(请注意,如果数据不包含唯一的ID,您必须添加一个以用于比较),这似乎是一个好的解决方案,但现在我有另一个疑问。你如何比较这两张表?使用存储过程之类的东西?或者SSIS中的某个内容?@bojackhorseman99您必须为每列编写一个查询(注意,如果数据不包含唯一的ID,您必须添加一个以比较使用它)您的文件大小(以MB或Gbs为单位)有多大?几kb,它只是一个包含10行8个字段的.txt。显示您的文件大小(以MB或Gbs为单位)有多大?几kb,它只是一个包含10行8个字段的.txt文件