Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 我需要从AmazonS3下载大量文件_Amazon S3_Multipart - Fatal编程技术网

Amazon s3 我需要从AmazonS3下载大量文件

Amazon s3 我需要从AmazonS3下载大量文件,amazon-s3,multipart,Amazon S3,Multipart,我知道AmazonS3为大文件添加了多部分上传。太好了。我还需要在客户端提供类似的功能,以满足部分通过下载千兆字节以上文件而出现错误的客户 我意识到浏览器内置了一定程度的重试和恢复功能,但是当你谈论大文件时,我希望能够从它们停止的地方开始,而不管错误类型如何 有什么想法吗 谢谢, 如果您想构建自己的解决方案,BrianS3支持标准HTTP“Range”头 我用的是。对于私有内容,您可以使用“GetPreSignedUrlRequest”生成临时私有URL,您可以将这些URL传递到aria2c仅针

我知道AmazonS3为大文件添加了多部分上传。太好了。我还需要在客户端提供类似的功能,以满足部分通过下载千兆字节以上文件而出现错误的客户

我意识到浏览器内置了一定程度的重试和恢复功能,但是当你谈论大文件时,我希望能够从它们停止的地方开始,而不管错误类型如何

有什么想法吗

谢谢,
如果您想构建自己的解决方案,Brian

S3支持标准HTTP“Range”头


我用的是。对于私有内容,您可以使用“GetPreSignedUrlRequest”生成临时私有URL,您可以将这些URL传递到aria2c

仅针对当前情况进行更新,S3本机支持多部分GET和PUT。(压缩至26:00)。

注意:仅供Ruby用户使用

从Ruby中尝试
aws sdk
gem,然后下载

object = AWS::S3::Object.new(...)
object.download_file('path/to/file.rb')
因为默认情况下它会下载一个包含多部分的大文件

使用多部分方法下载大于5MB的文件


我一直在寻找一些有用的示例代码或SDK文档,运气不好。主要问题是,当您请求一系列数据时,Amazon没有生成MD5所具有的内容。因此,如果您下载了部分文件,您真正想要做的是根据您下载的内容计算MD5,然后询问Amazon该字节范围是否具有相同的哈希值,这样您就可以从Amazon附加文件的其余部分。没有这样的API(“嘿,Amazon,给我S3上文件中这个字节范围的MD5”是存在的:-(嗨,Brian。如果你能回答你的问题,你能选择一个正确的答案吗?帮助其他来页面寻求同样帮助的人。Java API:Java呢?c#呢?