Amazon web services 如何将多个文件（20K+；）上载到AWS S3_Amazon Web Services_Amazon S3_Boto_S3cmd

Amazon web services 如何将多个文件（20K+；）上载到AWS S3

amazon-web-services amazon-s3

Amazon web services 如何将多个文件（20K+；）上载到AWS S3,amazon-web-services,amazon-s3,boto,s3cmd,Amazon Web Services,Amazon S3,Boto,S3cmd,如何将多个文件上载到AWS S3 我尝试了两种方法，但都失败了： 1）即使文件只有270KB，s3cmd也会显示以下错误 $s3cmd put file_2012_07_05_aa.gz s3://file.s3.oregon/ file_2012_07_05_aa.gz -> s3://file.s3.oregon/file_2012_07_05_aa.gz [1 of 1] 45056 of 272006 16% in 1s 25.62 kB/

如何将多个文件上载到AWS S3

我尝试了两种方法，但都失败了：

1）即使文件只有270KB，s3cmd也会显示以下错误

   $s3cmd put file_2012_07_05_aa.gz  s3://file.s3.oregon/
   file_2012_07_05_aa.gz -> s3://file.s3.oregon/file_2012_07_05_aa.gz  [1 of 1]
   45056 of 272006    16% in    1s    25.62 kB/s  failed
   WARNING: Upload failed: /file_2012_07_05_aa.gz ([Errno 32] Broken pipe)
   WARNING: Retrying on lower speed (throttle=0.00)
   WARNING: Waiting 3 sec...

2）使用boto的S3接口

只有当我使用“美国标准”创建bucket时，boto库才能正常工作，如果我选择其他地区，如俄勒冈州，它将失败并显示“对等连接重置”

当套接字超时值过低时，历史上会发生断管错误。请检查~/.s3cfg文件，以确保已设置套接字超时=300

默认值在以下时间从10秒更改为300秒：

commit b503566c362c81dc8744a569820461c1c39bacae
Author: Michal Ludvig <mludvig@logix.net.nz>
Date:   Mon Apr 11 02:01:08 2011 +0000
* S3/Config.py: Increase socket_timeout from 10 secs to 5 mins.

提交b503566c362c81dc8744a569820461c1c39bacae
作者：Michal Ludvig
日期：2011年4月11日星期一02:01:08+0000
*S3/Config.py：将套接字超时从10秒增加到5分钟。

当套接字超时值过低时，历史上会发生断管错误。请检查~/.s3cfg文件，以确保已设置套接字超时=300

默认值在以下时间从10秒更改为300秒：

commit b503566c362c81dc8744a569820461c1c39bacae
Author: Michal Ludvig <mludvig@logix.net.nz>
Date:   Mon Apr 11 02:01:08 2011 +0000
* S3/Config.py: Increase socket_timeout from 10 secs to 5 mins.

提交b503566c362c81dc8744a569820461c1c39bacae
作者：Michal Ludvig
日期：2011年4月11日星期一02:01:08+0000
*S3/Config.py：将套接字超时从10秒增加到5分钟。

当套接字超时值过低时，历史上会发生断管错误。请检查~/.s3cfg文件，以确保已设置套接字超时=300

默认值在以下时间从10秒更改为300秒：

commit b503566c362c81dc8744a569820461c1c39bacae
Author: Michal Ludvig <mludvig@logix.net.nz>
Date:   Mon Apr 11 02:01:08 2011 +0000
* S3/Config.py: Increase socket_timeout from 10 secs to 5 mins.

提交b503566c362c81dc8744a569820461c1c39bacae
作者：Michal Ludvig
日期：2011年4月11日星期一02:01:08+0000
*S3/Config.py：将套接字超时从10秒增加到5分钟。

当套接字超时值过低时，历史上会发生断管错误。请检查~/.s3cfg文件，以确保已设置套接字超时=300

默认值在以下时间从10秒更改为300秒：

commit b503566c362c81dc8744a569820461c1c39bacae
Author: Michal Ludvig <mludvig@logix.net.nz>
Date:   Mon Apr 11 02:01:08 2011 +0000
* S3/Config.py: Increase socket_timeout from 10 secs to 5 mins.

提交b503566c362c81dc8744a569820461c1c39bacae
作者：Michal Ludvig
日期：2011年4月11日星期一02:01:08+0000
*S3/Config.py：将套接字超时从10秒增加到5分钟。

或者，您可以使用

使用mc镜像可以实现这一点

$ mc mirror localdir S3alias/remotebucket $mc mirror localdir S3alias/remotebucket 如果由于网络问题或节流断开发生，Minio客户端将从上次离开的位置开始上载

mc: Session safely terminated. To resume session ‘mc session resume yarbWRwf’ mc:会话安全终止。恢复会话“mc会话恢复yarbWRwf” 希望能有帮助

达斯莱默：我为

工作，或者你可以使用

使用mc镜像可以实现这一点

$ mc mirror localdir S3alias/remotebucket $mc mirror localdir S3alias/remotebucket 如果由于网络问题或节流断开发生，Minio客户端将从上次离开的位置开始上载

mc: Session safely terminated. To resume session ‘mc session resume yarbWRwf’ mc:会话安全终止。恢复会话“mc会话恢复yarbWRwf” 希望能有帮助

达斯莱默：我为

工作，或者你可以使用

使用mc镜像可以实现这一点

$ mc mirror localdir S3alias/remotebucket $mc mirror localdir S3alias/remotebucket 如果由于网络问题或节流断开发生，Minio客户端将从上次离开的位置开始上载

mc: Session safely terminated. To resume session ‘mc session resume yarbWRwf’ mc:会话安全终止。恢复会话“mc会话恢复yarbWRwf” 希望能有帮助

达斯莱默：我为

工作，或者你可以使用

使用mc镜像可以实现这一点

$ mc mirror localdir S3alias/remotebucket $mc mirror localdir S3alias/remotebucket 如果由于网络问题或节流断开发生，Minio客户端将从上次离开的位置开始上载

mc: Session safely terminated. To resume session ‘mc session resume yarbWRwf’ mc:会话安全终止。恢复会话“mc会话恢复yarbWRwf” 希望能有帮助

达斯莱默：我为

工作，我个人最喜欢的解决方案是使用CyberDuck。您可以使用S3API密钥凭据登录，它的工作方式与文件系统浏览器类似。如果你拖动你的文件夹和20000个文件，它会像那样上传它们。下载同样简单。

我个人最喜欢的解决方案是使用CyberDuck。您可以使用S3API密钥凭据登录，它的工作方式与文件系统浏览器类似。如果你拖动你的文件夹和20000个文件，它会像那样上传它们。下载同样简单。

我个人最喜欢的解决方案是使用CyberDuck。您可以使用S3API密钥凭据登录，它的工作方式与文件系统浏览器类似。如果你拖动你的文件夹和20000个文件，它会像那样上传它们。下载也一样简单