Azure data factory Azure Data Factory根据大小从文件夹中获取文件

Azure data factory Azure Data Factory根据大小从文件夹中获取文件,azure-data-factory,azure-logic-apps,azure-blob-storage,Azure Data Factory,Azure Logic Apps,Azure Blob Storage,我运行了一个复制活动,该活动使用http链接服务从一个在线文件中提取一个zip文件,然后将zip解压缩到Azure blob存储容器中包含多个文件的文件夹中。我现在要做的是动态地从新创建的文件夹中提取最大的文件,并通过数据流转换运行它,同时通过ADF删除该文件夹。我正在尝试使用“获取元数据”活动来输出文件夹的子项。然后,将输出连接到ForEach活动,并将“@activity('Get Metadata1').output.childItems.”与内部GetMetadata活动一起传递到For

我运行了一个复制活动,该活动使用http链接服务从一个在线文件中提取一个zip文件,然后将zip解压缩到Azure blob存储容器中包含多个文件的文件夹中。我现在要做的是动态地从新创建的文件夹中提取最大的文件,并通过数据流转换运行它,同时通过ADF删除该文件夹。我正在尝试使用“获取元数据”活动来输出文件夹的子项。然后,将输出连接到ForEach活动,并将“@activity('Get Metadata1').output.childItems.”与内部GetMetadata活动一起传递到ForEach设置的项中,以获取文件大小。但是它在检索文件大小时出错,给了我这个

{ “错误代码”:“3500”, “消息”:“字段'size'失败,错误为:'Type=Microsoft.WindowsAzure.Storage.StorageException,message=远程服务器返回错误:(404)未找到,''Source=Microsoft.WindowsAzure.Storage,''Type=System.Net.WebException,message=远程服务器返回错误:(404)未找到,'',Source=System'.”, “failureType”:“UserError”, “目标”:“获取元数据2”, “详情”:[] }

无法获取文件夹子项的文件大小吗?。我一直在关注这个文档

  • 创建数据工厂
  • 设置一个定时触发器,或者如果您确切知道所有文件何时完成提取/加载,则以不同的方式触发它
  • 创建元数据活动,该活动将返回特定文件夹上的元数据
  • 根据元数据从blob中获取最大的文件

  • 您还可以使用
    logic app
    获取最大文件大小:

    首先,您可以使用
    列出blob
    来获取文件夹中的blob

    通过比较获得最大的文件大小,然后再次循环以获得最大的blob


    但当我对文件夹执行元数据活动时,它不会提供有关文件夹中文件大小的信息。我只能按名称拉取,我想按大小动态拉取,因为名称将发生变化。是的,您肯定可以从元数据过滤器中获取大小。如果没有ForEach活动,我无法获取该大小,我已添加了它并调整了我的问题,因为我遇到了一个特定错误