Azure data factory 连接字符串的Azure Data Factory v2参数
我刚开始使用Azure Data Factory v2,对于在部署到多个环境时转换连接字符串/链接服务的一般方法,我有一些问题 来自SSIS背景: 我们曾经将连接字符串定义为项目参数。这允许在将构件部署到不同环境时转换连接字符串 如何使用Azure Data Factory v2实现同样的功能? 有没有一个简单的方法可以做到这一点Azure data factory 连接字符串的Azure Data Factory v2参数,azure-data-factory,Azure Data Factory,我刚开始使用Azure Data Factory v2,对于在部署到多个环境时转换连接字符串/链接服务的一般方法,我有一些问题 来自SSIS背景: 我们曾经将连接字符串定义为项目参数。这允许在将构件部署到不同环境时转换连接字符串 如何使用Azure Data Factory v2实现同样的功能? 有没有一个简单的方法可以做到这一点 我试图用连接字符串作为参数来设置链接服务,然后这些参数可以随触发器一起传递?这是否可行?关于SSI(我们将使用配置文件-.dtsconfig部署到不同的部署),对于A
我试图用连接字符串作为参数来设置链接服务,然后这些参数可以随触发器一起传递?这是否可行?关于
SSI
(我们将使用配置文件-.dtsconfig
部署到不同的部署),对于ADFV2
(&ADFV1
),我们可以研究使用ARM
模板的选项,其中针对每个不同的环境(开发、测试和生产)要部署ADF
解决方案,可以创建许多部署文件(.json
),并使用PowerShell
编写部署脚本。可以使用ARM模板参数来参数化到链接服务的连接和其他特定于环境的值。然后是用于创建/部署ADFV2
管道的PowerShell cmdlet
您还可以使用PowerShell
来参数化到链接服务的连接
和其他特定于环境的值
使用
adfv2ui
可以集成VSTS-GIT
以及部署和集成VSTS-GIT
集成允许选择功能/开发分支,或在VSTS-GIT
存储库中创建一个新分支。一旦更改与主分支合并,就可以使用ADFV2 UI
将其发布到数据工厂 此功能现在可以从下面的URL获得。您是请求该功能的人吗?:)
我最终解决了这个问题,为每个环境设置了一个azure密钥库,每个环境都有一个连接字符串secret(更多详细信息请参见此处:) 在Azure数据工厂中
- 定义Azure密钥Vault链接服务
- 为其他链接服务定义连接字符串时,请使用azure key vault链接服务
- 这种方法消除了实际链接服务中参数的任何更改
- azure key vault链接服务的连接字符串可以作为azure管道部署的一部分进行更改(此处有更多详细信息:)
- 每个azure数据工厂都可以使用MSI访问其azure密钥库(在我们的案例中,通过terraform实现自动化)
- dev
- dev-azure-datafactory
- dev-key-vault
- key: db-conn-string
value: dev-db.windows.net
- qa
- qa-azure-datafactory
- qa-key-vault
- key: db-conn-string
value: qa-db.windows.net
- production
- prod-azure-datafactory
- prod-key-vault
- key: db-conn-string
value: prod-db.windows.net