Azure data factory 在Azure data factory中提取数据时是否需要存储(某种类型)

Azure data factory 在Azure data factory中提取数据时是否需要存储(某种类型),azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,*这里是数据新手* 目前,为了对从Dynamics 365提取的数据运行分析报告,我使用Power BI。 问题是,Power BI处理大数据的速度非常慢。我执行了许多转换步骤(例如合并、联接、删除或重命名列等)。因此,当我尝试使用上述步骤在Power BI中运行查询时,需要很长时间才能完成 因此,作为一个解决方案,我决定使用Azure数据工厂(ADF)。计划是使用ADF从CRM(即Dynamics 365)中提取数据,执行转换并发布数据。然后我将使用Power BI进行可视化分析 我的问题是:

*这里是数据新手*

目前,为了对从Dynamics 365提取的数据运行分析报告,我使用Power BI。 问题是,Power BI处理大数据的速度非常慢。我执行了许多转换步骤(例如合并、联接、删除或重命名列等)。因此,当我尝试使用上述步骤在Power BI中运行查询时,需要很长时间才能完成

因此,作为一个解决方案,我决定使用Azure数据工厂(ADF)。计划是使用ADF从CRM(即Dynamics 365)中提取数据,执行转换并发布数据。然后我将使用Power BI进行可视化分析

我的问题是: 除了数据工厂,我还需要什么azure服务?我是否需要将从CRM中提取的数据存储在某个地方,比如Azure data Lake或Blob存储?或者,我可以在数据被摄取后立即进行转换吗

起初,我认为我可以使用“复制”活动从CRM中摄取数据并开始处理数据。但是使用复制活动,我需要提供一个接收器(数据的目的地,它必须是某种存储器)。 我还想,我可以利用“查找”活动。我试图使用它,但出现了错误(没有生成异常消息)

我在互联网上搜索过类似的过程(即Dynamics 365->Data Factory->Power BI),但没有找到任何过程

然而,我所看到的大多数过程都是在数据接收之后立即使用某种数据存储

欢迎所有回应。即使你相信我走错了路。 谢谢。

这里有几件事:

  • 复制活动只是将数据从源移动到接收器。它不会动态地修改它
  • 查找活动只是查找一些ATRIBUTE,以便稍后在同一管道上使用
  • ADF无法将数据集发布到power bi(尽管它可能能够推送到流数据集)
您的方法是正确的,但您需要转换数据的最后一步。这里有很多选项,但由于您已经熟悉Power Bi,因此可以使用争用数据流,它允许您从datalake获取文件,应用一些Power查询并在lake中保存新文件。您还可以使用映射数据流、数据块或任何其他数据转换工具

最后,您可以使用Power Bi从数据湖中提取文件,以使用此新文件上的数据生成报告

当然,在Azure中总是有很多方法来解决问题或建筑师服务,这是我认为对你来说更简单的一种。

希望这有帮助