Automation 我们可以在Azure中自动化ETL吗?

Automation 我们可以在Azure中自动化ETL吗?,automation,azure-pipelines,etl,azure-data-factory,azure-data-flow,Automation,Azure Pipelines,Etl,Azure Data Factory,Azure Data Flow,我目前正在从事一个非常有趣的ETL项目,使用Azure手动转换我的数据。然而,当我开始处理多个源文件时,手动转换数据可能会非常耗时。我的管道目前运行良好,因为我只有几个文件要转换,但如果我有数千个excel文件呢 因此,我想要实现的是,我想要扩展项目,并使用logic应用程序提取来自电子邮件的excel文件,然后直接在其上应用ETL。是否有任何方法可以在Azure中自动化ETL。我可以在不手动修改不同类型数据的管道的情况下执行ETL吗?如何使管道灵活,以便能够处理各种类型源数据的数据转换 提前感

我目前正在从事一个非常有趣的ETL项目,使用Azure手动转换我的数据。然而,当我开始处理多个源文件时,手动转换数据可能会非常耗时。我的管道目前运行良好,因为我只有几个文件要转换,但如果我有数千个excel文件呢

因此,我想要实现的是,我想要扩展项目,并使用logic应用程序提取来自电子邮件的excel文件,然后直接在其上应用ETL。是否有任何方法可以在Azure中自动化ETL。我可以在不手动修改不同类型数据的管道的情况下执行ETL吗?如何使管道灵活,以便能够处理各种类型源数据的数据转换

提前感谢您的帮助

我可以在不修改管道的情况下进行ETL吗 手动数据

根据您的描述,我想您已经知道Logic应用程序支持。您可以在逻辑应用程序流中执行ADF管道,甚至可以将参数传递到ADF管道

通常,源和接收器服务应该在一个复制活动中固定,但您可以在数据集中定义动态文件路径。因此,您不需要创建多个复制活动

如果数据类型不同,您可以尝试将参数从Logic App传递到ADF。然后在数据传输之前,您可以使用交换机活动将传输路由到不同的分支