Amazon s3 我需要从AmazonS3下载大量文件
我知道AmazonS3为大文件添加了多部分上传。太好了。我还需要在客户端提供类似的功能,以满足部分通过下载千兆字节以上文件而出现错误的客户 我意识到浏览器内置了一定程度的重试和恢复功能,但是当你谈论大文件时,我希望能够从它们停止的地方开始,而不管错误类型如何 有什么想法吗 谢谢,Amazon s3 我需要从AmazonS3下载大量文件,amazon-s3,multipart,Amazon S3,Multipart,我知道AmazonS3为大文件添加了多部分上传。太好了。我还需要在客户端提供类似的功能,以满足部分通过下载千兆字节以上文件而出现错误的客户 我意识到浏览器内置了一定程度的重试和恢复功能,但是当你谈论大文件时,我希望能够从它们停止的地方开始,而不管错误类型如何 有什么想法吗 谢谢, 如果您想构建自己的解决方案,BrianS3支持标准HTTP“Range”头 我用的是。对于私有内容,您可以使用“GetPreSignedUrlRequest”生成临时私有URL,您可以将这些URL传递到aria2c仅针
如果您想构建自己的解决方案,BrianS3支持标准HTTP“Range”头
我用的是。对于私有内容,您可以使用“GetPreSignedUrlRequest”生成临时私有URL,您可以将这些URL传递到aria2c仅针对当前情况进行更新,S3本机支持多部分GET和PUT。(压缩至26:00)。注意:仅供Ruby用户使用 从Ruby中尝试
aws sdk
gem,然后下载
object = AWS::S3::Object.new(...)
object.download_file('path/to/file.rb')
因为默认情况下它会下载一个包含多部分的大文件
使用多部分方法下载大于5MB的文件
我一直在寻找一些有用的示例代码或SDK文档,运气不好。主要问题是,当您请求一系列数据时,Amazon没有生成MD5所具有的内容。因此,如果您下载了部分文件,您真正想要做的是根据您下载的内容计算MD5,然后询问Amazon该字节范围是否具有相同的哈希值,这样您就可以从Amazon附加文件的其余部分。没有这样的API(“嘿,Amazon,给我S3上文件中这个字节范围的MD5”是存在的:-(嗨,Brian。如果你能回答你的问题,你能选择一个正确的答案吗?帮助其他来页面寻求同样帮助的人。Java API:Java呢?c#呢?