Azure data factory 尝试使用依赖项部署ADF项目时出错

Azure data factory 尝试使用依赖项部署ADF项目时出错,azure-data-factory,Azure Data Factory,当我尝试将ADF项目从visual studio部署到azure时,出现以下错误: 21.02.2017 13:03:32- Publishing Project 'MyProj.DataFactory'.... 21.02.2017 13:03:32- Validating 10 json files 21.02.2017 13:03:37- Publishing Project 'MyProj.DataFactory' to Data Factory 'MyProjDataFactory'

当我尝试将ADF项目从visual studio部署到azure时,出现以下错误:

21.02.2017 13:03:32- Publishing Project 'MyProj.DataFactory'....
21.02.2017 13:03:32- Validating 10 json files
21.02.2017 13:03:37- Publishing Project 'MyProj.DataFactory' to Data Factory 'MyProjDataFactory'
21.02.2017 13:03:37- Starting upload of Dependency D:\Sources\MyProjDataFactory\Dependencies\ParseMyData.usql
依赖项是Azure Data Lake Analytics U-SQL脚本

azure中存储的依赖项在哪里

更新:

当我尝试编排U-SQL存储过程而不是脚本时,visual studio验证器会在生成时出错:


这里有几个选项

1) 将USQL文件存储在Azure Blob存储中。在这种情况下,您将需要Azure数据工厂中的链接服务来链接Blob。然后手动上载该文件,或将该文件添加到data factory的Visual Studio项目依赖项中。不幸的是,这将意味着USQL在ADF项目中成为静态的,并且不会以任何方式链接到您的ADL项目,因此请小心

2) 最简单的方法就是直接在ADF JSON中对齐USQL代码。这意味着您需要手动刷新ADL项目中的代码

3) 我喜欢的方法。。。在Azure Data Lake Analytics服务中将USQL创建为存储过程。然后使用[database].[schema].[procname]在JSON中引用proc。您还可以从ADF向proc传递参数。例如时间片。这还假设您已经将ADL设置为ADF中的链接服务

希望这有帮助

如果您感兴趣,我在这里发布了一篇关于第三个选项和传递参数的博文:


谢谢

谢谢。我喜欢第三种解决方案。这就是我要用的。但为了清楚起见。你能再解释一下第一种选择吗。如果我将U-SQL脚本作为依赖项添加到VS的ADF项目中,并尝试将此项目部署到Azure,我会收到一个关于访问权限的错误,它会尝试将依赖项存储在哪里?我应该有权部署具有依赖项的项目(它在没有依赖项的情况下成功部署)。谢谢,欢迎光临。说得好。在JSON活动中,您需要使用属性“scriptLinkedService”,它指的是一些blob存储链接服务。这将告诉ADF从依赖项上载脚本文件的位置。接下来,在门户中,转到您的ADL analytics服务,并将blob存储添加为数据源。以及ADL存储。这为它提供了运行USQL文件所需的访问权限。谢谢您的支持并将以上内容标记为您的问题答案。您能帮助我吗?我在第一篇文章中添加了一个屏幕截图,显示了我当前的问题。我试图从ADF调用存储的进程,并使用ADF的visual studio项目。但是当我尝试构建解决方案时,VisualStudio抛出了一个错误:引用[mydb][my_schema]。[myproc]未在解决方案中声明。如何修复它?谢谢。看起来我已经解决了,我不小心用了scriptPath而不是script.:)谢谢你的博客。很高兴帮助:-)