Azure data factory Azure数据工厂:不同的计算环境

Azure data factory Azure数据工厂:不同的计算环境,azure-data-factory,azure-data-factory-2,Azure Data Factory,Azure Data Factory 2,有几个计算环境可以为我进行转换。我有一个REST源,每天都从中得到响应,我必须执行一些转换 我不知道什么是最好的方法?或者换句话说,所有计算环境之间有什么不同,比如我应该在什么时候使用Azure批处理、存储过程、HDInsight等?这实际上取决于数据的位置。如果将数据存储在数据池中,则不会使用存储过程。如果您将数据存储在Azure Sql中,则不会使用data Lake Analytics 基本上是这样的: Data lake -> data lake analytics with u

有几个计算环境可以为我进行转换。我有一个REST源,每天都从中得到响应,我必须执行一些转换


我不知道什么是最好的方法?或者换句话说,所有计算环境之间有什么不同,比如我应该在什么时候使用Azure批处理、存储过程、HDInsight等?

这实际上取决于数据的位置。如果将数据存储在数据池中,则不会使用存储过程。如果您将数据存储在Azure Sql中,则不会使用data Lake Analytics

基本上是这样的:

Data lake -> data lake analytics with u-sql
Azure SQL (warehouse or just sql) -> stored procedure
HDInsight hadoop -> Pig, hive, etc
None of the above -> custom activity with Azure Batch

希望这有帮助

好的,所以我转换的数据将在Azure sql仓库中。现在我可以不使用HDInsight进行转换了吗?比如说,无论如何都可以使用它吗?既然转换后的数据将在azure sql上,我应该如何在它上实现机器学习?像HDInsight一样,我应该使用(spark)或data lake analytics还是自定义活动?那么azure sql的数据如何在HDInsight环境中使用呢?基本上我不想使用存储过程,因为我认为与Spark相比,转换过程需要很多时间。如果你问我,azure factory文档在很多方面都不是很清楚。我建议你多阅读文档,并提出更具体的问题,我可以向你保证,你需要的答案都在官方文档中,并且比我在这里键入的内容解释得更好:)是的。由于我在周末读了一些文档,现在我觉得上面的问题很荒谬当然,我现在会更彻底地阅读文档。