Amazon web services 如何将数据从EBS卷传输到S3存储桶？

我在AmazonEBS卷上有大约400GB的数据，我需要将这些数据放在S3存储桶中，以便Hadoop EMR使用

如何将数据从EBS卷移动/复制到S3存储桶（S3存储桶和EBS卷都位于同一AWS区域）

谢谢

同时，AWS是所有产品的推荐选择：

AWS命令行界面（CLI）是管理AWS服务的统一工具。只需下载和配置一个工具，就可以从命令行控制多个AWS服务，并通过脚本将其自动化

在所有AWS API的统一方法之上，它还添加了一组新的简单高效的文件传输到Amazon S3和从Amazon S3传输文件，其特点类似于众所周知的Unix命令，例如用于手头的任务：

• -将本地文件或S3对象复制到本地或S3中的其他位置
• -同步目录和S3前缀

---

因此，

cp

对于您的用例来说已经足够了，但是一定要检查一下

sync

，它对于许多经常遇到的场景来说尤其强大（根据参数的不同，它有点暗示

cp

）

首先通过IAM在AWS获取您的凭证：

转到AWS/Services/IAM选择用户并创建管理员。之后，下载您的credentials.csv并在shell中运行：

aws configure

输入您的访问密钥ID和机密访问密钥

然后将文件和文件夹从EC2中的EBS复制到S3：

aws s3 sync /ebs-directory/ s3://your-bucket​

---

创建一个具有AmazonEC2FullAccess和AdministratorAccess权限的IAM用户，然后像这样下载访问密钥ID和机密访问密钥

User - ec2tos3-data-transfer 
Access key ID - AKIAWTUBRTSRTHMZI4
Secret access key - 8BDArkKhkt6k7fnt9n4552mFl+PGNyOKx8

//将数据从EBS复制到S3

sudo apt install awscli
aws configure
AWS Access Key ID [None]: AKIAWTUBRTSRTHMZI4
AWS Secret Access Key [None]: 8BDArkKhkt6k7fnt9n4552mFl+PGNyOKx8
Default region name [None]: us-east-2       // Ec2 instance region
Default output format [None]: json

将数据Ebs同步到S3

aws s3 sync uploads/ s3://bucketname

aws s3 cp uploads/ s3://bucketname

或供公众阅读

aws s3 sync uploads/ s3://bucketname --acl public-read

aws s3 cp uploads/ s3://bucketname --acl public-read

将数据Ebs复制到S3

aws s3 sync uploads/ s3://bucketname

aws s3 cp uploads/ s3://bucketname

或供公众阅读

aws s3 sync uploads/ s3://bucketname --acl public-read

aws s3 cp uploads/ s3://bucketname --acl public-read