Sql server 对于SQL Server集成,哪个ETL起点最简单、最有效?
我是ETL领域的新手,我正在尝试安排从另一家公司向我们发送一个数据文件,以便可以将其ETL到数据仓库。我将通过SQL Server 2014上的集成服务开发ETL。基本上,我有五种类型的记录:账户记录(与个人账户相关的元记录)、购买记录等 为了方便起见,帐户记录只提供有关帐户持有人的信息(姓名、帐户id、性别等),而购买记录则显示购买的历史记录及其金额等 我的问题是:给我们发送记录的公司问我:你想如何安排记录Sql server 对于SQL Server集成,哪个ETL起点最简单、最有效?,sql-server,ssis,etl,sql-server-2014,Sql Server,Ssis,Etl,Sql Server 2014,我是ETL领域的新手,我正在尝试安排从另一家公司向我们发送一个数据文件,以便可以将其ETL到数据仓库。我将通过SQL Server 2014上的集成服务开发ETL。基本上,我有五种类型的记录:账户记录(与个人账户相关的元记录)、购买记录等 为了方便起见,帐户记录只提供有关帐户持有人的信息(姓名、帐户id、性别等),而购买记录则显示购买的历史记录及其金额等 我的问题是:给我们发送记录的公司问我:你想如何安排记录 多标题/尾部:每个标题指示我们正在获取的记录类型(标题1将是帐户) 多个文件(每种类型
Person X
Account Records....
Purchase Records...
...
Person Y
Account Records....
Purchase Records...
对于作为ETL工具的SSI,始终在文件中使用相同的格式 SSI可以处理头记录(因为我们可以跳过它们)。它无法处理拖车记录(因为我们的列不再一致) 1和3均违反上述规定
由于SSIS允许您访问.NET framework,因此您可以编写所有自定义解析,然后您可以处理任何文件格式,即使是1或3,但对于您的公司来说,这很少是明智的投资,除非您与希望编写ETL的.NET开发人员保持一致。请使用现成组件,直到他们无法完成手头的任务,并且使用脚本任务或组件进行补偿。当这是包的起始位置时,通常会充满危险。我真的不理解你的问题,你必须解释得更多。但据我所知,方法是选择2。有许多相同格式的文件,处理过程总是一样的。你只是ave要单独处理每个文件,回答很好,但是你能跳过多个标题记录吗?特别是,如果我有一个标题记录/行(提到文件的详细信息)如果我有另一个标题记录/行提到列名,这是否受支持?我问的原因是,当我试图快速查找时,它只给了我一个复选框选项(“第一行包含列名?”)。非常感谢这正是我想要的,谢谢!!在我的公司里没有人拥有.NET技能,包括我自己。我觉得奇怪的是SSIS不支持这样一个基本的功能,这不是一件普通的事情吗?另外,我看到过一些摘录,开头是H,开头是R,结尾是t。SSIS没有这个吗?