Azure data factory Azure对数据湖存储链接服务的批处理支持

Azure data factory Azure对数据湖存储链接服务的批处理支持,azure-data-factory,azure-data-lake,azure-batch,Azure Data Factory,Azure Data Lake,Azure Batch,我将数据工厂管道与自定义活动(配置为在Azure批处理上运行)一起使用,该活动具有数据湖存储输入数据集和输出数据集。data lake存储链接服务正在使用服务到服务身份验证(服务主体),并且在通过复制向导在复制活动中使用时工作正常。但当与试图检查数据池中是否存在文件的自定义活动一起使用时,该活动将失败,并出现错误“需要授权”。在使用Azure Blob存储作为输入和输出数据集时,相同的自定义活动可以正常工作 Azure批处理(计算节点)似乎存在无法授权Data Lake存储的问题。如果您已经解决

我将数据工厂管道与自定义活动(配置为在Azure批处理上运行)一起使用,该活动具有数据湖存储输入数据集和输出数据集。data lake存储链接服务正在使用服务到服务身份验证(服务主体),并且在通过复制向导在复制活动中使用时工作正常。但当与试图检查数据池中是否存在文件的自定义活动一起使用时,该活动将失败,并出现错误“需要授权”。在使用Azure Blob存储作为输入和输出数据集时,相同的自定义活动可以正常工作


Azure批处理(计算节点)似乎存在无法授权Data Lake存储的问题。如果您已经解决了上述问题,请提供帮助。

大约3周前,我遇到了完全相同的问题。我感觉到你的痛苦

这是一个Microsoft错误

经过多次尝试和错误以及重新部署后,我向Microsoft提出了一份支持通知单,Microsoft确认data lake store的服务主体身份验证目前仅适用于复制活动使用自定义活动

这是我在4月10日星期一得到的官方答复

发生此问题的原因是自定义活动的连接器存在错误 架构与最新发布的连接器架构不匹配。事实上 我们注意到定制活动的问题,并计划修复和部署 在接下来的两周内刺激

请注意,如果将链接服务更改回使用会话令牌等,则还需要重新部署包含自定义活动的管道。否则会出现另一个错误,如下所示

访问被禁止,请检查凭据并重试。代码: “AuthenticationFailed”消息:“服务器未能对服务器进行身份验证。” 要求确保已形成授权标头的值 正确地包括签名


希望这能有所帮助。

谢谢@PaulAndrew。你救了我一天。我还计划继续向微软提出这个问题。非常感谢您的回复!欢迎光临。我希望您能投更多的票,并将此作为您问题的答案。谢谢你,你说得对。正在进行修复,我们计划在四月底之前完成。是否有关于如何使用Azure Batch的服务主体连接到ADL的修复和任何示例?欢迎使用Stack Overflow!为了给你一个很好的答案,如果你还没有看一眼,它可能会帮助我们。如果你能提供一个简单的例子,它可能也很有用。