Azure数据工厂体系结构,使用Azure SQL数据库为BI供电

Azure数据工厂体系结构,使用Azure SQL数据库为BI供电,azure,azure-sql-database,azure-storage,azure-data-factory,azure-databricks,Azure,Azure Sql Database,Azure Storage,Azure Data Factory,Azure Databricks,我不是MS专家-最近跳上了Azure列车,如果我得到一些错误的信息,我会提前道歉 基本上需要在Azure的体系结构中使用Azure数据工厂(作为ETL/ELT工具)和Azure SQL数据库(作为存储)来输入BI输出功率BI。我的情况是这样, 我拥有Oracle DB、Oracle Cloud SSAS、MS SQL server DB等内部数据源 我希望有一个用于报告目的的MS云基础设施解决方案 无需数据迁移—只需将prem数据注入云端并生成BI报告解决方案 基于我有限的知识和谷歌的研究,

我不是MS专家-最近跳上了Azure列车,如果我得到一些错误的信息,我会提前道歉

基本上需要在Azure的体系结构中使用Azure数据工厂(作为ETL/ELT工具)和Azure SQL数据库(作为存储)来输入BI输出功率BI。我的情况是这样,

  • 我拥有Oracle DB、Oracle Cloud SSAS、MS SQL server DB等内部数据源
  • 我希望有一个用于报告目的的MS云基础设施解决方案
  • 无需数据迁移—只需将prem数据注入云端并生成BI报告解决方案
基于我有限的知识和谷歌的研究,Azure Data Factory为我所有的在线资源以及未来的云Azure SQL数据库提供服务。如果需要进一步的分析,可以将Azure存储Azure数据档案添加到此体系结构中。我已经勾勒出了我提出的解决方案的架构。

只是确认我的理解

  • 如果没有Azure存储和数据档案(2个粉红色框),2 Azure组件(DF和SQL数据库)足以从本地源获取数据、在云上处理并输出到Power BI
  • 使用Azure存储和数据档案(2个粉红色框),处理将更加高效,因为它们的摘要功能是存储培训数据模型并充当分析处理引擎
  • Azure SQL数据库Azure SQL数据仓库更合适,因为我的数据源不超过1TB;成本方面更便宜,而且我的一个数据源包含来自呼叫中心的数据,因此OLTP更合适。另外,我有Azure Dataricks来支持SQL数据仓库(OLAP)所做的分析

  • 任何其他帮助我理解整个架构的评论都将非常好

    我是Azure的新手。我想知道DocumentDb(CosmosDB)是否有@Query(value=“…”)类型或任何等价物。因为,documentDB不接受@Query。我希望转换sql查询(从jpa到cosmosDB)。

    从prem或IaaS源(如VM上的sql、Oracle等)获取数据需要(SHR)


    请查看与您提议的模式类似的模式。

    但Data Factory支持SHIR,因此我的初始架构流程仍然有效。感谢链接到现代数据仓库。但在这张图中,存在着数据湖;但是流描述称之为Azure Blob存储。我认为它们是一个不同的组件,具有相似的功能。这是否意味着我需要一个数据湖而不是Azure存储?(根据我的体系结构图)Azure Data Factory支持三种类型的运行时:自动运行时,不需要任何额外的VM/infra,另外还支持SSIS运行时和自托管集成运行时(SHIR)。当您从on-prem数据源移动数据时,您需要SHR,而SHR又需要一个VM/额外的基础设施和配置,因此我认为值得一提。