Amazon web services 有没有办法加快AWS S3上文件的上传?

Amazon web services 有没有办法加快AWS S3上文件的上传?,amazon-web-services,amazon-s3,dataset,Amazon Web Services,Amazon S3,Dataset,我正在尝试使用AWS S3并将数据读取到Jupyter笔记本。总文件大小为42MB,但是进入S3所需的时间非常长。5小时后,仅完成22%,预计完成时间为12小时。有没有其他方法可以有效地上传到S3,或者使用其他可能提供更高速度的平台 上传带宽由许多因素决定: 您的本地互联网连接 流量通过的任何VPN 公共互联网 S3带宽 通常,后两个不是您的问题(尤其是42MB),但前两个可能是 如果您将数据上传到远离您的地区的S3存储桶中,您可以查看一下,它允许您将数据发送到最近的CloudFront e

我正在尝试使用AWS S3并将数据读取到Jupyter笔记本。总文件大小为42MB,但是进入S3所需的时间非常长。5小时后,仅完成22%,预计完成时间为12小时。有没有其他方法可以有效地上传到S3,或者使用其他可能提供更高速度的平台


上传带宽由许多因素决定:

  • 您的本地互联网连接
  • 流量通过的任何VPN
  • 公共互联网
  • S3带宽
通常,后两个不是您的问题(尤其是42MB),但前两个可能是


如果您将数据上传到远离您的地区的S3存储桶中,您可以查看一下,它允许您将数据发送到最近的CloudFront edge位置,从该位置它穿过全球AWS主干网到达目标地区,但鉴于数据的大小,我怀疑这对您解决问题会有多大帮助,因为它很可能是前两个中的一个。

您的上传速度是多少?谢谢Maurice,我的上传速度接近4.7 Mbps。因此,它转换为大约0.5 MBps。最坏的情况应该在84秒~1分30秒内上传。有没有办法检查VPN流量通过我仔细看了一下屏幕截图,你上传了超过56k的小对象,这将带来很大的开销!我建议您编写一个脚本来并行上传,在一个线程中上传和下载数千个对象是非常低效的。谢谢Maurice。使用CLI,我可以在几分钟内完成它。