如何在Azure Data Factory内拥有不同数量客户的不同环境中使用相同的管道?
我在Azure数据工厂中有一个复制数据管道。我需要使用发布管道在多个环境(如DEV、QA、PROD)中部署相同的数据工厂实例 管道将数据从客户存储帐户(Blob容器)传输到集中式数据池。因此,我们可以说,这是一个多对一的流程。(多个客户>一个数据湖) 现在,假设我在DEV环境中&我有一个演示客户。我已经为复制数据定义了一个ADF管道。但在prod环境中,客户数量将会增加。所以,我不想在生产数据工厂中创建同一管道的多个副本 我正在寻找一个解决方案,这样我就可以在Data Factory中保留一个拷贝管道,并将同一个Data Factory从一个环境部署/升级到另一个环境。即使客户数量各不相同,这也应该有效如何在Azure Data Factory内拥有不同数量客户的不同环境中使用相同的管道?,azure,etl,azure-data-factory,azure-data-factory-2,Azure,Etl,Azure Data Factory,Azure Data Factory 2,我在Azure数据工厂中有一个复制数据管道。我需要使用发布管道在多个环境(如DEV、QA、PROD)中部署相同的数据工厂实例 管道将数据从客户存储帐户(Blob容器)传输到集中式数据池。因此,我们可以说,这是一个多对一的流程。(多个客户>一个数据湖) 现在,假设我在DEV环境中&我有一个演示客户。我已经为复制数据定义了一个ADF管道。但在prod环境中,客户数量将会增加。所以,我不想在生产数据工厂中创建同一管道的多个副本 我正在寻找一个解决方案,这样我就可以在Data Factory中保留一个拷
我还在Azure Data Factory中使用Git与Azure Repos集成制作CI/CD。您必须创建非生产环境中不存在的其他链接服务和数据集,以确保将任何新的“客户”存储帐户映射到管道实例
使用CI/CD例程,您可以以增量方式交付此功能,即使用变量组参数化您发布的管道,并使用具有新数据集/链接服务的较新管道更新data factory实例。此处的第48张幻灯片……我正是在寻找-