python aws s3文件分发

我正在找补习班。我想知道的是，在不同的对象上分发大量文件的方法。作为示例，假设我有大小为60GB的视频文件和大小为4x15GB的S3小扣。现在，我如何分割我的文件以保持这些大小的存储。如果你能分享任何教程，我会很高兴的

S3存储桶没有大小限制，因此通常没有理由在存储桶之间拆分文件

如果您真的想在bucket中拆分文件（我不建议这样做），您可以将前25%的字节写入bucket A中的一个对象，将下25%的字节写入bucket B中的一个对象，等等。但这相当复杂（您必须拆分源文件并只上载相关字节）然后，为了检索完整的文件，您必须在以后处理合并它们的问题

---

为什么要跨存储桶拆分文件？

S3存储桶没有大小限制，因此通常没有理由跨存储桶拆分文件

如果您真的想在bucket中拆分文件（我不建议这样做），您可以将前25%的字节写入bucket A中的一个对象，将下25%的字节写入bucket B中的一个对象，等等。但这相当复杂（您必须拆分源文件并只上载相关字节）然后，为了检索完整的文件，您必须在以后处理合并它们的问题

---

为什么要将文件拆分为多个存储桶？

查看此AWS文档。我想这会有用的

链接的导入部分如下所示：

根据上载数据的大小，Amazon S3提供以下选项：

在单个操作中上载对象使用单个PUT操作，您可以上载最大为5 GB的对象。 有关详细信息，请参见在单个操作中上载对象。 使用多部分上载API部分上载对象，您可以上载大对象，最多可达5 TB。 多部分上传API旨在改善较大对象的上传体验。可以部分上载对象。这些对象部分可以独立、以任何顺序和并行方式上载。对于大小从5 MB到5 TB的对象，可以使用多部分上载。有关更多信息，请参阅使用多部分上载API上载对象。 我们建议您通过以下方式使用多部分上载：

如果要通过稳定的高带宽网络上载大型对象，请使用多部分上载，通过并行上载对象部分以实现多线程性能，从而最大限度地利用可用带宽。 如果您正在通过不稳定的网络进行上传，请使用多部分上传，以避免重新启动上传，从而提高对网络错误的恢复能力。使用多部分上载时，只需重试上载上载过程中中断的部分。您不需要从头开始重新上传对象。

---

有关多部分上载的更多信息，请参阅多部分上载概述。

查看此AWS文档。我想这会有用的

链接的导入部分如下所示：

根据上载数据的大小，Amazon S3提供以下选项：

在单个操作中上载对象使用单个PUT操作，您可以上载最大为5 GB的对象。 有关详细信息，请参见在单个操作中上载对象。 使用多部分上载API部分上载对象，您可以上载大对象，最多可达5 TB。 多部分上传API旨在改善较大对象的上传体验。可以部分上载对象。这些对象部分可以独立、以任何顺序和并行方式上载。对于大小从5 MB到5 TB的对象，可以使用多部分上载。有关更多信息，请参阅使用多部分上载API上载对象。 我们建议您通过以下方式使用多部分上载：

如果要通过稳定的高带宽网络上载大型对象，请使用多部分上载，通过并行上载对象部分以实现多线程性能，从而最大限度地利用可用带宽。 如果您正在通过不稳定的网络进行上传，请使用多部分上传，以避免重新启动上传，从而提高对网络错误的恢复能力。使用多部分上载时，只需重试上载上载过程中中断的部分。您不需要从头开始重新上传对象。

---

有关多部分上载的更多信息，请参阅多部分上载概述。

@Ivar谢谢！我没有想到这一点，但你提出了一个很好的观点：多部分上传不允许你上传一个源文件并将其拆分为多个对象。它允许您将一个源文件的部分内容并行上载到S3中的一个对象。@jarmod谢谢。你说的很对。@Qaqa我认为桶的大小没有任何限制@伊瓦尔：谢谢！我没有想到这一点，但你提出了一个很好的观点：多部分上传不允许你上传一个源文件并将其拆分为多个对象。它允许您将一个源文件的部分内容并行上载到S3中的一个对象。@jarmod谢谢。你说的很对。@Qaqa我认为桶的大小没有任何限制。谢谢你的回答。问题是我的项目需要这样做。因此，我想知道如何在上传过程中拆分文件，或者如何将文件拆分为多个存储器使用客户端文件I/o读取源文件的相关部分，然后使用boto3的put_对象（ACL='private'，Body=b'bytes'，…）写入。非常感谢。你的评论很有帮助。再次感谢你的回答。问题是我的项目需要这样做。因此，我想知道如何在上载时拆分文件，或者如何将文件拆分为多个存储使用客户端文件I/o读取源文件的相关部分，然后使用use写入