Linux 将数据从AWS Ubuntu服务器移动到Amazon S3存储桶的最佳方式是什么？

我正在将大量数据（）下载到AWS Ubuntu服务器，希望最终将数据下载到安装的S3存储桶中。问题是，如果我用200GB的磁盘将所有数据（例如>1TB的数据）下载到AWS Ubuntu服务器，它将超过磁盘的限制。因此，在这些约束条件下，如何有效地将数据传输到S3存储桶

---

我考虑过将单个文件下载到磁盘，同步到S3，然后删除该文件，尽管这种方法似乎效率极低。

根据评论，似乎最好的办法是使用awscli将其从本地计算机直接上传到S3

以下是基本步骤：

• pip安装awscli

  （或）

• aws s3 cp/my/local/file.txt s3://bucket/key.txt

---

还有许多其他可用的方法，但是AWS的官方命令行工具得到了很好的支持，对于那些有shell知识的人来说，这是一个很好的起点。

根据评论，似乎最好的办法是使用awscli从本地机器直接上传到s3

以下是基本步骤：

• pip安装awscli

  （或）

• aws s3 cp/my/local/file.txt s3://bucket/key.txt

---

还有许多其他可用的方法，但是AWS的官方命令行工具得到了很好的支持，对于那些具有shell知识的人来说，这是一个很好的起点。

由于您有大量的数据文件，我建议您使用S3FS，这是一种将S3磁盘装载到实例中的工具，因此您可以像访问普通文件系统一样访问所有文件（理论上是这样的）。这里有一个链接，您可以获得更多信息

更新1： 请记住，传输速度非常慢（根据我的测试为10 MB/s），但我希望它能满足您的需要

---

由于您有大量的数据文件，我建议您使用S3FS，这是一种将S3磁盘装载到实例中的工具，因此您可以像访问普通文件系统一样访问所有文件（理论上是）。下面是一个链接，您可以获得更多信息

更新1： 请记住，传输速度非常慢（根据我的测试为10 MB/s），但我希望它能满足您的需要

---

为什么你不能直接上传到S3？为什么是中间的Ubuntu服务器？据我所知，直接上传到S3是不可能的。为什么你说直接上传到S3是不可能的？我每天都这么做……是Java api吗？从这里你可以找到其他api，包括命令行。从EC2是存在的。你也可以用awscli来实现。为什么你不能直接上传到S3？为什么是中间的Ubuntu服务器？据我所知，直接上传到S3是不可能的。为什么你说直接上传到S3是不可能的？我每天都这么做…是Java api吗？从这里你可以找到其他api，包括命令行。你可以使用在EC2出现之前就直接加载到S3。您也可以使用awscli来完成。