Amazon s3 连接AmazonS3存储桶中的文件

我在EC2上的不同虚拟机（VM）上运行了5个不同的进程，创建了5个不同的文件（f1.txt、f2.txt、f3.txt、f4.txt、f5.txt）。这些虚拟机在大致相同的时间启动，但在不同的时间完成

我需要 ~z~等待这5个文件被写出

~合并它们并创建一个新文件，例如。 f、 txt=f1.txt+f2.txt+f3.txt+f4.txt+f5.txt

~问题： #如何确定所有5个文件何时准备就绪并写入？ #我可以使用s3cat或类似的命令行工具来实现这一点吗？你喜欢猫吗 具有与Unix cat类似的语义，例如。 cat s3://mybucket/f1.txt>s3://mybucket/f.txt cat s3://mybucket/f2.txt>>s3://mybucket/f.txt cat s3://mybucket/f3.txt>>s3://mybucket/f.txt cat s3://mybucket/f4.txt>>s3://mybucket/f.txt cat s3://mybucket/f5.txt>>s3://mybucket/f.txt

Their examples on GitHub didn’t show this use case.

生成的输出文件（f.txt）供下游进程使用

---

---

如果您知道正在上载的5个文件所使用的密钥的名称，您可以对它们进行轮询。如果您了解python，boto是一个很好的与s3接口的模块，可以轻松地处理上述问题。而且，s3确实保证了文件在完全上传之前不会出现在其他客户机上，所以您不必担心读取部分文件

如果您已经在使用Boto，那么Boto也是连接输出的一种很好的方法。请检查文件。

我认为您希望使用多部分上传，而不是上传一堆文件并传送它们