Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Azure Data Factory将压缩的XML文件从HTTP链接源复制并提取到Azure Blob存储_Azure_Azure Data Factory_Azure Data Factory 2_Azure Data Lake_Data Pipeline - Fatal编程技术网

使用Azure Data Factory将压缩的XML文件从HTTP链接源复制并提取到Azure Blob存储

使用Azure Data Factory将压缩的XML文件从HTTP链接源复制并提取到Azure Blob存储,azure,azure-data-factory,azure-data-factory-2,azure-data-lake,data-pipeline,Azure,Azure Data Factory,Azure Data Factory 2,Azure Data Lake,Data Pipeline,我正在尝试建立Azure数据工厂拷贝数据管道。该源是一个开放的HTTP链接源(Url引用:)。因此,基本上,源文件包含一个压缩文件夹,其中包含许多XML文件。我想使用Azure Data Factory在Azure Blob存储中解压并保存提取的XML文件。我试图遵循这里提到的配置: 但我得到了以下错误: ErrorCode=UserErrorSourceNotSeekable,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryEx

我正在尝试建立Azure数据工厂拷贝数据管道。该源是一个开放的HTTP链接源(Url引用:)。因此,基本上,源文件包含一个压缩文件夹,其中包含许多XML文件。我想使用Azure Data Factory在Azure Blob存储中解压并保存提取的XML文件。我试图遵循这里提到的配置: 但我得到了以下错误:

ErrorCode=UserErrorSourceNotSeekable,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Your HttpServer source can't support random read which is requied by current copy activity setting, please create two copy activities to work around it: the first copy activity binary copy your HttpServer source to a staging file store(like Azure Blob, Azure Data Lake, File, etc.), second copy activity copy from the staged file store to your destination with current settings.,Source=Microsoft.DataTransfer.ClientLibrary,'

不太清楚到底出了什么问题,但如果有人能指导我这一过程,那将非常有帮助。

我将其分为两个复制数据活动,以便将zip文件的加载(相当大)和解包分开。您可以尝试一步完成,但我认为您将遇到超时问题。使用我的方法,您还可以获得原始zip文件的副本,这对于审计跟踪和调试非常有用

我尝试用方框和线条格式记录我的ADF模式,显示每个组件的关键细节。因此,这里有两个复制活动,以及支持的链接服务和数据集-请尝试并遵循以下步骤,让我知道您的进展情况:

注意:ADF解包.xml文件花费了相当长的时间,因为它们相当多。我在Azure Storage Explorer中显示的结果: