Sql server 在SQL Server上创建从一组表到另一组表的数据转换的动态能力
我有一个场景,在这个场景中,我从一个源接收文件,然后盲目地将文件中的数据转储到一个暂存区数据库中的多个表中。现在,我需要将原始数据表中的数据转换为我的主数据库模型能够理解的格式,并最终将转换后的表从暂存区域移动到我的主数据库 例如,我可能必须在rawdatastage表中连接3个表,并获得最终的列列表,以设置与我的主数据库兼容的最终主表。我可能有很多翻译规则。加入是其中之一 所以我的问题是,最好的方法是什么?我计划创建一个规则表,其中可能包含源表、规则集、目标表,并在存储过程中动态构造查询,该存储过程将从规则表读取数据,构造动态查询,以便查询以表给定的格式创建最终主表 我正在从专家那里寻找更好的想法或更多关于这个想法的设计见解,以便无缝地进行翻译Sql server 在SQL Server上创建从一组表到另一组表的数据转换的动态能力,sql-server,sql-server-2005,Sql Server,Sql Server 2005,我有一个场景,在这个场景中,我从一个源接收文件,然后盲目地将文件中的数据转储到一个暂存区数据库中的多个表中。现在,我需要将原始数据表中的数据转换为我的主数据库模型能够理解的格式,并最终将转换后的表从暂存区域移动到我的主数据库 例如,我可能必须在rawdatastage表中连接3个表,并获得最终的列列表,以设置与我的主数据库兼容的最终主表。我可能有很多翻译规则。加入是其中之一 所以我的问题是,最好的方法是什么?我计划创建一个规则表,其中可能包含源表、规则集、目标表,并在存储过程中动态构造查询,该存
编辑:我的想法是在我们的许多实例中重复使用此DB设计。因此,我打算填充规则表并运行该过程,而不是对每个实例都有一个ETL过程。如果您对可能的转换的范围有很好的了解,您可能可以实现这一点 在尝试提取框架之前,我喜欢先获得一些(可能更难)的示例,因为没有好的用例的框架可能1)有未使用的特性,2)难以配置和记录,3)无法满足未来的用例
这并不是说一个框架不能被重构,而是说重构一个你知道已经满足80%的用例的框架(因为你了解范围)这比重构一个只满足10%到20%到30%的转换要容易得多。如果您对可能转换的范围有很好的了解,您可能可以实现这一点 在尝试提取框架之前,我喜欢先获得一些(可能更难)的示例,因为没有好的用例的框架可能1)有未使用的特性,2)难以配置和记录,3)无法满足未来的用例 这并不是说一个框架不能被重构,但是重构一个你知道已经满足80%的用例的框架(因为你理解它的范围)要比重构一个只满足10%到20%到30%的框架容易得多。同意!整个模型就是这样设计的。我不必知道会发生什么。我在主要数据库中设计的数据模型遵循规则/标准化,被认为是非重复稳定的。但是我们收到的文件不需要遵守规则,我们也没有太多的控制权。因此,基本上在粒度级别上,将可怜的数据转换为良好的数据是理想的。用例将不断发展。我将拥有的规则表是我的用例表!:)同意!整个模型就是这样设计的。我不必知道会发生什么。我在主要数据库中设计的数据模型遵循规则/标准化,被认为是非重复稳定的。但是我们收到的文件不需要遵守规则,我们也没有太多的控制权。因此,基本上在粒度级别上,将可怜的数据转换为良好的数据是理想的。用例将不断发展。我将拥有的规则表是我的用例表!