Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/11.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/algorithm/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Azure数据工厂解压缩_Azure_Ftp_Azure Data Factory_Azure Data Factory 2 - Fatal编程技术网

Azure数据工厂解压缩

Azure数据工厂解压缩,azure,ftp,azure-data-factory,azure-data-factory-2,Azure,Ftp,Azure Data Factory,Azure Data Factory 2,我有个问题。我的FTP位置上有一些.zip文件,我想解压缩并将它们复制到ADL。在文件中对此有明确的解释: 从FTP服务器读取.zip文件,解压缩以获取其中的文件,然后将这些文件放到Azure Data Lake存储中。使用压缩类型JSON属性将输入FTP数据集定义为ZipDeflate 我尝试了这个,在我的ADL上我得到了压缩文件。我试图放置文件属性,定义定界符和其他东西,但仍然在DataLake存储中获取压缩文件。 我想这就是我定义输出数据集的方式。如果输入数据集是FTP中的.zip文件,是

我有个问题。我的FTP位置上有一些.zip文件,我想解压缩并将它们复制到ADL。在文件中对此有明确的解释:

从FTP服务器读取.zip文件,解压缩以获取其中的文件,然后将这些文件放到Azure Data Lake存储中。使用压缩类型JSON属性将输入FTP数据集定义为ZipDeflate

我尝试了这个,在我的ADL上我得到了压缩文件。我试图放置文件属性,定义定界符和其他东西,但仍然在DataLake存储中获取压缩文件。
我想这就是我定义输出数据集的方式。如果输入数据集是FTP中的.zip文件,是否有一些规则如何定义输出数据集。

您很可能也将输出数据集的压缩定义为ZipDeflate,这就是您在ADL上获取压缩文件的原因。尝试在ADLS中配置路径的相同位置更改输出数据集,使其不使用压缩。在复制活动中,应该有输入数据集,在其中配置ftp,并进行压缩;输出数据集,在其中配置湖的大部分内容,但不进行压缩

这样,您就告诉data factory获取一个压缩文件,并将其解压保存在ADL上


希望这有帮助

您很可能将输出数据集的压缩也定义为ZipDeflate,这就是您在ADL上获取压缩文件的原因。尝试在ADLS中配置路径的相同位置更改输出数据集,使其不使用压缩。在复制活动中,应该有输入数据集,在其中配置ftp,并进行压缩;输出数据集,在其中配置湖的大部分内容,但不进行压缩

这样,您就告诉data factory获取一个压缩文件,并将其解压保存在ADL上


希望这有帮助

嗨,马丁,谢谢你的回答。我将输出数据集上的复制行为定义为二进制副本。我的逻辑是:源接收器将获取文件并对其进行解压缩,我想要一个二进制副本到我的输出。我现在看到,在我的.zip文件夹中的数据湖存储里面是解压缩的文本文件。我猜它只是保存了文件夹层次结构。源是从哪里获取数据,接收器是存储数据的地方。源与输入数据集绑定,接收器与输出数据集绑定。您的所有输出都不应该配置任何压缩,因此它会保存解压后的文件。谢谢,@Martin。对于大小为90mb的zip文件,复制和解压缩需要2.5小时。解压大小270mb是否可以花费那么长的时间?我知道这取决于服务器和其他东西,只是想听听你的意见。如果ftp服务器是本地的,并且你使用IR,这取决于集成运行时pc的硬件,还取决于ftp服务器的带宽。解压过程不会花那么长时间。刚刚检查过,我的吞吐量是9kbs。我将尝试使用二进制副本,然后用u sql自定义提取器解压。嗨,马丁,谢谢你的回答。我将输出数据集上的复制行为定义为二进制副本。我的逻辑是:源接收器将获取文件并对其进行解压缩,我想要一个二进制副本到我的输出。我现在看到,在我的.zip文件夹中的数据湖存储里面是解压缩的文本文件。我猜它只是保存了文件夹层次结构。源是从哪里获取数据,接收器是存储数据的地方。源与输入数据集绑定,接收器与输出数据集绑定。您的所有输出都不应该配置任何压缩,因此它会保存解压后的文件。谢谢,@Martin。对于大小为90mb的zip文件,复制和解压缩需要2.5小时。解压大小270mb是否可以花费那么长的时间?我知道这取决于服务器和其他东西,只是想听听你的意见。如果ftp服务器是本地的,并且你使用IR,这取决于集成运行时pc的硬件,还取决于ftp服务器的带宽。解压过程不会花那么长时间。刚刚检查过,我的吞吐量是9kbs。我将尝试使用二进制副本,然后使用u sql自定义提取器解压。