使用Azure Data Factory将压缩的XML文件从HTTP链接源复制并提取到Azure Blob存储
我正在尝试建立Azure数据工厂拷贝数据管道。该源是一个开放的HTTP链接源(Url引用:)。因此,基本上,源文件包含一个压缩文件夹,其中包含许多XML文件。我想使用Azure Data Factory在Azure Blob存储中解压并保存提取的XML文件。我试图遵循这里提到的配置: 但我得到了以下错误:使用Azure Data Factory将压缩的XML文件从HTTP链接源复制并提取到Azure Blob存储,azure,azure-data-factory,azure-data-factory-2,azure-data-lake,data-pipeline,Azure,Azure Data Factory,Azure Data Factory 2,Azure Data Lake,Data Pipeline,我正在尝试建立Azure数据工厂拷贝数据管道。该源是一个开放的HTTP链接源(Url引用:)。因此,基本上,源文件包含一个压缩文件夹,其中包含许多XML文件。我想使用Azure Data Factory在Azure Blob存储中解压并保存提取的XML文件。我试图遵循这里提到的配置: 但我得到了以下错误: ErrorCode=UserErrorSourceNotSeekable,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryEx
ErrorCode=UserErrorSourceNotSeekable,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Your HttpServer source can't support random read which is requied by current copy activity setting, please create two copy activities to work around it: the first copy activity binary copy your HttpServer source to a staging file store(like Azure Blob, Azure Data Lake, File, etc.), second copy activity copy from the staged file store to your destination with current settings.,Source=Microsoft.DataTransfer.ClientLibrary,'
不太清楚到底出了什么问题,但如果有人能指导我这一过程,那将非常有帮助。我将其分为两个复制数据活动,以便将zip文件的加载(相当大)和解包分开。您可以尝试一步完成,但我认为您将遇到超时问题。使用我的方法,您还可以获得原始zip文件的副本,这对于审计跟踪和调试非常有用 我尝试用方框和线条格式记录我的ADF模式,显示每个组件的关键细节。因此,这里有两个复制活动,以及支持的链接服务和数据集-请尝试并遵循以下步骤,让我知道您的进展情况: 注意:ADF解包.xml文件花费了相当长的时间,因为它们相当多。我在Azure Storage Explorer中显示的结果: