Amazon web services 使用AWS CLI进行AWS S3数据传输

我正在尝试使用aws CLI将存储在s3中的25 tb数据从一个aws帐户传输到另一个aws帐户中的另一个s3存储桶（都位于不同的区域），有人能告诉我使用CLI进行数据传输时，哪个EC2实例更适合使用和处理，主要是完成传输需要多长时间。

复制文件

复制是最简单的部分！使用：

数据将在存储桶之间直接传输-数据不会被下载和上传。因此，无论您使用多大的EC2实例，您甚至可以从自己的计算机上运行该命令，并且速度也一样快。CLI将为每个要复制的文件向S3发送必要的复制命令

使用

sync

命令的好处是，如果出现问题，可以恢复复制，因为它只复制自上次同步以来丢失或更新的文件

权限

<>你需要考虑的是如何允许访问复制文件。假设你有：

• 用桶A记帐
• 带Bucket B的帐户B
• 您希望从存储桶A复制到存储桶B

您应该从帐户B中具有写入Bucket B权限的用户（“用户B”）运行

sync

命令

您还需要向Bucket a添加一个Bucket策略，该策略专门允许用户B访问。该策略类似于：

{
  "Id": "Policy1",
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ReadOnlyAccess",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::my-bucket/*",
      "Principal": {
        "AWS": [
          "arn:aws:iam::123456789012:user/user-b"
        ]
      }
    }
  ]
}

arn

值是用户B的arn

定时

如果铲斗位于同一区域，则传输速度会更快。然而，我不知道转学需要多长时间。25TB实际上是大量的数据！（你有没有试过在计算机上复制1TB的数据？速度很慢！）

---

很好的一点是，您可以多次使用

awss3sync

命令。比如说，你需要在一个周末进行转会。您可以在一周内运行该命令，然后在周末再次运行该命令。只复制已添加/更改的文件，因此最终复制窗口将非常小。

复制文件

复制是最简单的部分！使用：

数据将在存储桶之间直接传输-数据不会被下载和上传。因此，无论您使用多大的EC2实例，您甚至可以从自己的计算机上运行该命令，并且速度也一样快。CLI将为每个要复制的文件向S3发送必要的复制命令

使用

sync

命令的好处是，如果出现问题，可以恢复复制，因为它只复制自上次同步以来丢失或更新的文件

权限

<>你需要考虑的是如何允许访问复制文件。假设你有：

• 用桶A记帐
• 带Bucket B的帐户B
• 您希望从存储桶A复制到存储桶B

您应该从帐户B中具有写入Bucket B权限的用户（“用户B”）运行

sync

命令

您还需要向Bucket a添加一个Bucket策略，该策略专门允许用户B访问。该策略类似于：

{
  "Id": "Policy1",
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ReadOnlyAccess",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::my-bucket/*",
      "Principal": {
        "AWS": [
          "arn:aws:iam::123456789012:user/user-b"
        ]
      }
    }
  ]
}

arn

值是用户B的arn

定时

如果铲斗位于同一区域，则传输速度会更快。然而，我不知道转学需要多长时间。25TB实际上是大量的数据！（你有没有试过在计算机上复制1TB的数据？速度很慢！）

---

很好的一点是，您可以多次使用

awss3sync

命令。比如说，你需要在一个周末进行转会。您可以在一周内运行该命令，然后在周末再次运行该命令。只有添加/更改过的文件才会被复制，因此最终的复制窗口将非常小。

如果人们有兴趣为这些类型的问题创建一个场所，请按照建议进行投票，并对一些示例问题进行后续投票。如果人们有兴趣为这些类型的问题创建一个场所，按照提案进行投票，并对一些示例问题进行后续投票。