Sql server 使用SSI转换数据并将其上载到Azure数据仓库的逻辑方法

Sql server 使用SSI转换数据并将其上载到Azure数据仓库的逻辑方法,sql-server,azure,ssis,azure-data-factory,Sql Server,Azure,Ssis,Azure Data Factory,我当前的模型如下所示: 收集不同的数据源并导入SQL Server 使用SSIS包处理和转换数据 SSIS包中的最后一步是将数据上载到数据仓库 BI工具为最终用户从数据仓库中提取数据 这是合乎逻辑的工作流程吗?我最初打算使用数据工厂和Azure SSIS集成运行时来处理数据。但是,我不明白为什么需要这些步骤,因为在我的情况下,在本地构建SSIS包并将处理后的数据上载到数据仓库似乎更简单。使用数据工厂和集成运行时有什么好处?我主要担心的是,我目前的模式将使自动化变得困难,但我不能完全肯定。非常感谢

我当前的模型如下所示:

  • 收集不同的数据源并导入SQL Server
  • 使用SSIS包处理和转换数据
  • SSIS包中的最后一步是将数据上载到数据仓库
  • BI工具为最终用户从数据仓库中提取数据

  • 这是合乎逻辑的工作流程吗?我最初打算使用数据工厂和Azure SSIS集成运行时来处理数据。但是,我不明白为什么需要这些步骤,因为在我的情况下,在本地构建SSIS包并将处理后的数据上载到数据仓库似乎更简单。使用数据工厂和集成运行时有什么好处?我主要担心的是,我目前的模式将使自动化变得困难,但我不能完全肯定。非常感谢您的帮助。

    您可能的路径是prem上的SSI、云上VM上的SSI、ADF中的SSI或在ADF中以本机方式构建管道

    ADF是用于数据移动和数据集成编排的Azure云PaaS托管服务。要返回到on-prem数据源,您需要在源端使用集成运行时网关。因此,如果您希望迁移到云优先架构或迁移到Azure,ADF是一个很好的解决方案(使用V2)

    如果您保持全部在prem上,则prem上的SSI是最佳方案

    如果这是一种混合方式,您将继续在prem上拥有一些数据并在云中加载Azure数据仓库,那么您仍然可以使用prem上的SSI以及ADW中的连接器作为目标。或者,如果必须消除本地服务器概念,则可以在Azure中的VM中运行该SSI

    如果您希望消除数据中心服务器以及修补、维护SSIS服务器等的需要,请在ADF中使用SSIS,它将SSIS作为服务提供。在这种情况下,您仍然可以以混合方式移动数据

    这实际上取决于一些因素,比如您是否更愿意在VisualStudio中开发SSIS作业,或者是否希望在ADF中用JSON构建管道?您是否有计划或需要迁移到云计算?是否要移动到云管理服务(即ADF V2)


    我希望这有帮助

    非常好的概述,谢谢!经过进一步的分析,我认为我目前的工作方式是最有效的。不过我会记住这篇文章,如果事情变得不必要的复杂,我会重新分析我的计划。干杯