Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
aws s3上传优化,;使用javasdk_Java_Amazon S3 - Fatal编程技术网

aws s3上传优化,;使用javasdk

aws s3上传优化,;使用javasdk,java,amazon-s3,Java,Amazon S3,现在,我有一个服务器来接受媒体流并记录到mp4文件,然后上传到s3,当并发级别较高时,我发现是s3上传花费了最多的cpu,当我监控IO时,我还发现cpu成本随着IO输出到s3而变化,IO(输出)率不稳定 所以我想知道有没有什么方法可以用来控制s3的上传速度?例如,当这一秒的IO速率太高时,我会让它慢下来,这样它就可以在每一秒之间分配所有文件。我还想知道降低cpu成本是否可行 我希望有人能帮助我,谢谢并原谅我的英语不好。AWS S3没有提供任何我所知道的减缓传输速度的解决方案,但是,你可以尝试使用

现在,我有一个服务器来接受媒体流并记录到mp4文件,然后上传到s3,当并发级别较高时,我发现是s3上传花费了最多的cpu,当我监控IO时,我还发现cpu成本随着IO输出到s3而变化,IO(输出)率不稳定

所以我想知道有没有什么方法可以用来控制s3的上传速度?例如,当这一秒的IO速率太高时,我会让它慢下来,这样它就可以在每一秒之间分配所有文件。我还想知道降低cpu成本是否可行


我希望有人能帮助我,谢谢并原谅我的英语不好。

AWS S3没有提供任何我所知道的减缓传输速度的解决方案,但是,你可以尝试使用它将上传分成多个并发流。这可能会使您的上载更易于管理

请注意,对于小于5MB的文件,不能使用此技术,因为每个上载部分必须至少为5MB(最后一部分除外)。感谢@michael-sqlbot纠正了这一点)


(你的英文很好,我可以懂你)

你不能对小于5MB的文件使用该技术。它可以工作,但只会导致更大的开销,因为小于5MB的文件只能在一个部分中上载。你在哪里看到100 KB?你是对的。我不知怎的遇到了问题。我更新了答案。谢谢!谢谢,我以前尝试过,但通过这种方法,我发现当e uploads finished(我使用S3ProgressListener来提醒上传是否完成,但是当我使用multipart uploads时,我发现当每个片段传输完成时,传输事件会变为transfer_COMPLETED_事件,我不确定一个文件的总数),顺便问一下,你怎么知道我是中国人(我猜是我的名字…)?那是对。当然很中文的名字 :)