aws s3上传优化,;使用javasdk
现在,我有一个服务器来接受媒体流并记录到mp4文件,然后上传到s3,当并发级别较高时,我发现是s3上传花费了最多的cpu,当我监控IO时,我还发现cpu成本随着IO输出到s3而变化,IO(输出)率不稳定 所以我想知道有没有什么方法可以用来控制s3的上传速度?例如,当这一秒的IO速率太高时,我会让它慢下来,这样它就可以在每一秒之间分配所有文件。我还想知道降低cpu成本是否可行aws s3上传优化,;使用javasdk,java,amazon-s3,Java,Amazon S3,现在,我有一个服务器来接受媒体流并记录到mp4文件,然后上传到s3,当并发级别较高时,我发现是s3上传花费了最多的cpu,当我监控IO时,我还发现cpu成本随着IO输出到s3而变化,IO(输出)率不稳定 所以我想知道有没有什么方法可以用来控制s3的上传速度?例如,当这一秒的IO速率太高时,我会让它慢下来,这样它就可以在每一秒之间分配所有文件。我还想知道降低cpu成本是否可行 我希望有人能帮助我,谢谢并原谅我的英语不好。AWS S3没有提供任何我所知道的减缓传输速度的解决方案,但是,你可以尝试使用
我希望有人能帮助我,谢谢并原谅我的英语不好。AWS S3没有提供任何我所知道的减缓传输速度的解决方案,但是,你可以尝试使用它将上传分成多个并发流。这可能会使您的上载更易于管理 请注意,对于小于5MB的文件,不能使用此技术,因为每个上载部分必须至少为5MB(最后一部分除外)。感谢@michael-sqlbot纠正了这一点)
(你的英文很好,我可以懂你) 你不能对小于5MB的文件使用该技术。它可以工作,但只会导致更大的开销,因为小于5MB的文件只能在一个部分中上载。你在哪里看到100 KB?你是对的。我不知怎的遇到了问题。我更新了答案。谢谢!谢谢,我以前尝试过,但通过这种方法,我发现当e uploads finished(我使用S3ProgressListener来提醒上传是否完成,但是当我使用multipart uploads时,我发现当每个片段传输完成时,传输事件会变为transfer_COMPLETED_事件,我不确定一个文件的总数),顺便问一下,你怎么知道我是中国人(我猜是我的名字…)?那是对。当然很中文的名字 :)