Azure 如何使用Databricks活动在ADF上实现DevOps

Azure 如何使用Databricks活动在ADF上实现DevOps,azure,azure-data-factory,azure-data-factory-2,azure-databricks,arm-template,Azure,Azure Data Factory,Azure Data Factory 2,Azure Databricks,Arm Template,我正在尝试在ADF上实现DevOps,它成功地实现了具有从ADLS位置和SQL获取数据的活动的管道 但现在我有了一个管道,其中一个活动是从dbfs位置运行jar文件,如下所示 此管道将运行位于dbfs位置的jar文件并继续 集群的连接参数如下所示。 在将ARM模板从dev ADF部署到UAT实例(UAT实例为Datatricks)时,我无法覆盖ARM\u template\u parameter.json文件中的任何集群连接详细信息 在ARM部署时,如何为UAT/PROD环境配置工作区URL

我正在尝试在ADF上实现DevOps,它成功地实现了具有从ADLS位置和SQL获取数据的活动的管道

但现在我有了一个管道,其中一个活动是从dbfs位置运行jar文件,如下所示

此管道将运行位于dbfs位置的jar文件并继续

集群的连接参数如下所示。

在将ARM模板从dev ADF部署到UAT实例(UAT实例为Datatricks)时,我无法覆盖ARM\u template\u parameter.json文件中的任何集群连接详细信息

  • 在ARM部署时,如何为UAT/PROD环境配置工作区URL和clusterID?arm\u template\u parameter.json文件中没有任何集群详细信息条目

  • 如第一幅图所示,如果有一个活动使用系统生成的jar文件名从DEV instance dbfs loaction中提取jar文件,那么当这个管道的ARM模板部署在其他环境中时,它会失败吗?如果是这样的话,如何在DEV/PROD databricks dbfs位置部署同名的jar文件


  • 任何线索感谢

    以我的经验来看,目前还没有很好地/直观地实现这一点。我个人发现实现这一点的最佳方法是对链接服务进行参数化,然后使用为给定环境保存正确值的parameters.json文件,或者使用


    两者都不是很优雅,理想情况下,您可以使用参数表达式中的某些语法引用关键Vault机密,但遗憾的是,我们还没有做到这一点。

    您需要做的是满足您的需要。此模板控制发布工厂时生成的ARM模板参数。这可以在管理中心的参数化模板选项卡中完成

    默认情况下,工作区名称和URL应该已经在ARM模板中生成。要将现有集群id作为其中的一部分,请将existingClusterId(链接服务中的JSON字段名)添加到Microsoft.DataFactory/Factorys/linkedServices下的模板中


    虽然我不喜欢在这个论坛上分享文档,但实际上我们已经在

    上演示了这个确切的用例,谢谢!参数化模板帮助我添加了很多缺少的参数化标记。但问题的第二部分是关于上传到DBFS位置的jar文件,ADF管道中的任务将具有相同的路径和文件名。一旦ADF部署在任何其他环境中,如何维护此文件名/如何将相同的jar上载到具有相同名称的其他环境中?